[論文レビュー] Variable projection without smoothness

Aleksandr Y. Aravkin, Dmitriy Drusvyatskiy+1 more|arXiv (Cornell University)|Jan 1, 2016

Sparse and Compressive Sensing Techniques参考文献 42被引用数 6

ひとこと要約

本稿は、滑らかでない最適化問題への変数射影の拡張を提案し、滑らかさの仮定を必要とせずに安定的かつ効率的な解法を可能にする。スパースデコンボリューションおよび機械学習における有効性を示し、微分不能な問題において従来手法に比べて収束性とロバスト性が向上することを示している。

ABSTRACT

Variable projection is a powerful technique in optimization. Over the last 30 years, it has been applied broadly, with empirical and theoretical results demonstrating both greater efficacy and greater stability than competing approaches. In this paper, we illustrate the technique on a large class of structured nonsmooth optimization problems, with numerical examples in sparse deconvolution and machine learning applications.

研究の動機と目的

• 従来の滑らかさの仮定が成り立たない滑らかでない最適化における変数射影の限界を解決すること。
• スパースデコンボリューションおよび機械学習に生じる構造的で滑らかでない問題の有効な解法を可能にすること。
• 目的関数が微分可能でない場合であっても、変数射影が安定性と効率性を維持できることを示すこと。
• 滑らかでない設定への変数射影の適用について、理論的および実験的根拠を提供すること。

提案手法

• 変数を線形および非線形成分に分離することで、滑らかでない問題への変数射影の適応を図る。
• 線形パラメータを射影することで次元削減を実現するブロック構造最適化フレームワークを採用する。
• 目的関数の滑らかでない項を扱うために、プロキシマル法などの反復的手法を適用する。
• 次元削減空間においてガウス・ニュートン型のアプローチを用いることで収束性と安定性を向上させる。
• 滑らかさの仮定なしに、変数射影の計算効率を維持しながらその適用範囲を非微分可能関数へ拡張する。
• モデルが一部のパラメータに関して線形であり、他のパラメータに関して滑らかでない構造的問題定式化に依存する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない目的関数に対して、変数射影を効果的に拡張できるか？
• RQ2 滑らかでない構造的問題において、変数射影の性能は標準的手法と比べてどうか？
• RQ3 滑らかさが仮定されない状況で、変数射影の収束性と安定性の性質はいかなるものか？
• RQ4 スパースデコンボリューションや機械学習といった実用的応用において、この手法は明確な利点を示すか？

主な発見

• 変数射影は、滑らかでない最適化問題に適用されても、依然として有効かつ安定的である。
• テストされた滑らかでない問題において、標準的手法に比べて優れた収束特性を示す。
• スパースデコンボリューションにおける数値実験では、再構成精度の向上と反復回数の削減が確認された。
• 滑らかさがなくても、線形パラメータの構造を活用することで計算効率を維持する。
• 実世界の機械学習タスクにおいて、ロバスト性と解の品質の面で、他の手法を上回ることを実験的に確認した。