[論文レビュー] Optimization Methods for Inverse Problems

Nan Ye, Farbod Roosta-Khorasani+1 more|arXiv (Cornell University)|Dec 1, 2017

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本調査は、機械学習と逆問題の最適化手法を橋渡しし、特に2次および確率的最適化の高度な手法が、大規模で非凸的かつ悪条件な逆問題の解法をどのように向上させるかを示している。ヘッセ行列に基づく手法が1次手法に比べて、頑健性とハイパーパrameterの調整の必要性が低い点が強調されている。

ABSTRACT

Optimization plays an important role in solving many inverse problems. Indeed, the task of inversion often either involves or is fully cast as a solution of an optimization problem. In this light, the mere non-linear, non-convex, and large-scale nature of many of these inversions gives rise to some very challenging optimization problems. The inverse problem community has long been developing various techniques for solving such optimization tasks. However, other, seemingly disjoint communities, such as that of machine learning, have developed, almost in parallel, interesting alternative methods which might have stayed under the radar of the inverse problem community. In this survey, we aim to change that. In doing so, we first discuss current state-of-the-art optimization methods widely used in inverse problems. We then survey recent related advances in addressing similar challenges in problems faced by the machine learning community, and discuss their potential advantages for solving inverse problems. By highlighting the similarities among the optimization challenges faced by the inverse problem and the machine learning communities, we hope that this survey can serve as a bridge in bringing together these two communities and encourage cross fertilization of ideas.

研究の動機と目的

• 逆問題における主な最適化課題、特に非凸性、悪条件性、大規模データの取り扱いを特定し、それらに対処すること。
• 逆問題と機械学習のコミュニティの間のギャップを埋め、共通の最適化課題を強調することで、両者の接点を明確にすること。
• 機械学習分野で開発された最新の最適化手法、特に確率的および2次手法の可能性を示し、逆問題の解法を改善すること。
• 両コミュニティ間でのアイデアの相互浸透を提唱し、複雑な逆問題の解決を加速すること。

提案手法

• 逆問題を、データ適合性と正則化を組み合わせた不適合関数を最小化するデータ適合最適化問題として定式化する。
• 非凸的で大規模な問題に対して、ガウス＝ニュートン法、信頼領域法、確率的ニュートン型手法を含む、古典的および現代的最適化手法をレビューする。
• 特に有限和設定において、計算コストを低減するための確率的ヘッセ行列近似の使用を強調する。
• 非凸問題におけるロバストな収束を可能にする、確率的信頼領域法および立方正則化法を導入する。
• 単体制約を効率的に処理するためのフランク＝ウルフ法を提案し、逆問題におけるボックス制約の代替手段を提供する。
• 1次手法と2次手法の計算的トレードオフを分析し、2次手法が悪条件性に対してより耐性があり、調整が少ない点を強調する。

実験結果

リサーチクエスチョン

• RQ1 2次最適化手法は、悪条件な状況下で、どのように逆問題ソルバーの頑健性と収束性を向上させるか？
• RQ2 大規模な逆問題において、収束性を損なわずに、確率的ヘッセ行列近似が計算コストをどの程度低減できるか？
• RQ3 逆問題と機械学習における最適化課題の主な違いは何か。両者間で解決策を共有するにはどうすればよいか？
• RQ4 現代の確率的最適化手法は、非凸的逆問題で局所最適解からの脱出をどのように支援するか？
• RQ5 フランク＝ウルフ法のような制約付き最適化手法は、単体制約を含む逆問題の解法をどのようになお改善できるか？

主な発見

• ガウス＝ニュートン法や信頼領域法などの2次手法は、1次手法に比べて悪条件性に対してはるかに耐性があり、このような状況下では1次手法が進捗を示さないことがある。
• 確率的ヘッセ行列近似により、大規模問題においてもスケーラブルな2次最適化が可能となり、1反復あたりの計算コストを削減しながら収束保証を維持できる。
• 確率的信頼領域法および立方正則化法は、非凸最適化において有望な結果を示し、悪条件性やノイズの多い環境でも収束性が向上する。
• 1次手法は、特にステップサイズの選定を含む広範なハイパーパrameterの調整を必要とするが、2次手法は感度が低く、調整回数も少ない。
• フランク＝ウルフ法は、単体制約を含む問題に対して効率的な代替手段を提供し、特定の逆問題定式化ではボックス制約アプローチを上回る性能を示す。
• 機械学習由来の最適化手法を逆問題に統合することで、特に非凸的かつ大規模な状況下で、スケーラビリティ、頑健性、収束性の向上が顕著に見られる。