[論文レビュー] A second-order method with enriched Hessian information for imaging composite sparse optimization problems

Pedro Merino, Juan Carlos De los Reyes|arXiv (Cornell University)|Sep 3, 2020

Sparse and Compressive Sensing Techniques参考文献 13被引用数 2

ひとこと要約

本稿では、非凸な滑らかな項とℓ₁ノルム正則化を含む線形合成スパース問題に対する2次最適化手法を提案する。最小ノルム部分勾配、射影ステップ、および非微分可能項の豊富なヘッセ情報を取り入れることで、微分可能でない項の特性を効果的に活用し、特に微分可能グラフ作用素を含む合成スパース最適化問題において、優れた収束性と効率性を達成する。

ABSTRACT

In this paper we propose a second--order method for solving \emph{linear composite sparse optimization problems} consisting of minimizing the sum of a differentiable (possibly nonconvex function) and a nondifferentiable convex term. The composite nondifferentiable convex penalizer is given by $\ell_1$--norm of a matrix multiplied with the coefficient vector. The algorithm that we propose for the case of the linear composite $\ell_1$ problem relies on the three main ingredients that power the OESOM algorithm \cite{dlrlm07}: the minimum norm subgradient, a projection step and, in particular, the second--order information associated to the nondifferentiable term. By extending these devices, we obtain a full second--order method for solving composite sparse optimization problems which includes a wide range of applications. For instance, problems involving the minimization of a general class \emph{differential graph operators} can be solved with the proposed algorithm. We present several computational experiments to show the efficiency of our approach for different application examples.

研究の動機と目的

• 非凸滑らか項とℓ₁正則化を含む線形合成スパース最適化問題を解く課題に対処すること。
• 非微分可能ℓ₁項の豊富なヘッセ情報を組み込むことで、2次手法の性能を向上させること。
• OESOMアルゴリズムに、収束性と頑健性を向上させるための完全な2次情報統合を施して拡張すること。
• 最適化フレームワークに微分可能グラフ作用素の構造を埋め込むことで、効率的な問題解決を可能にすること。

提案手法

• 非微分可能ℓ₁項を扱うために、最小ノルム部分勾配を用いる。
• 最適化反復の過程で制約を満たすか、妥当性を維持するために射影ステップを用いる。
• ℓ₁ノルム項の構造に適合したヘッセ近似を計算することで、2次情報の豊かさを向上させる。
• 曲率情報を活用して収束を早めるために、これらの要素を統合した完全な2次手法を構築する。
• 微分可能グラフ作用素を一般に扱えるようにするため、その構造を最適化フレームワークに組み込む。
• 非微分可能成分に特化したヘッセ情報を統合することで、OESOMを拡張し、安定性と収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非凸滑らか項とℓ₁正則化を含む合成スパース最適化問題に対して、2次手法を効果的に拡張する方法は何か？
• RQ2 ℓ₁項の豊富なヘッセ情報は、収束性と安定性の向上にどのような役割を果たすか？
• RQ3 提案手法は、微分可能グラフ作用素を含む問題を効率的に解くことができるか？
• RQ4 最小ノルム部分勾配と射影ステップの統合は、1次手法や基本的な2次手法と比較して、性能をどのように向上させるか？

主な発見

• 非微分可能ℓ₁項の豊富なヘッセ情報を利用することで、提案手法は改善された収束速度を達成する。
• 最小ノルム部分勾配と射影ステップの統合により、最適化における数値的安定性と妥当性が向上する。
• アルゴリズムは、微分可能グラフ作用素を含む合成スパース問題において、優れた性能を示す。
• 計算実験により、多様な応用例において手法の効率性と頑健性が確認された。
• 完全な2次情報統合により、OESOMフレームワークが拡張され、実際の応用においてより速い収束が達成された。