[論文レビュー] Recursive Decomposition for Nonconvex Optimization

Abram L. Friesen, Pedro Domingos|arXiv (Cornell University)|Nov 8, 2016

Topological and Geometric Data Analysis参考文献 27被引用数 27

ひとこと要約

この論文は、局所的な組み合わせ的構造を繰り返し変数を固定することで、目的関数をほぼ独立な部分問題に分解する再帰的分解アルゴリズムRDISを提案する。グラフ分割による変数選択と勾配降下法を用いた再帰的最適化を組み合わせることで、ランダム再起動を伴う勾配降下法に比べて指数的高速化を達成し、タンパク質折りたたみやマルチモーダルなテスト関数において標準的手法を上回る性能を発揮する。

ABSTRACT

Continuous optimization is an important problem in many areas of AI, including vision, robotics, probabilistic inference, and machine learning. Unfortunately, most real-world optimization problems are nonconvex, causing standard convex techniques to find only local optima, even with extensions like random restarts and simulated annealing. We observe that, in many cases, the local modes of the objective function have combinatorial structure, and thus ideas from combinatorial optimization can be brought to bear. Based on this, we propose a problem-decomposition approach to nonconvex optimization. Similarly to DPLL-style SAT solvers and recursive conditioning in probabilistic inference, our algorithm, RDIS, recursively sets variables so as to simplify and decompose the objective function into approximately independent sub-functions, until the remaining functions are simple enough to be optimized by standard techniques like gradient descent. The variables to set are chosen by graph partitioning, ensuring decomposition whenever possible. We show analytically that RDIS can solve a broad class of nonconvex optimization problems exponentially faster than gradient descent with random restarts. Experimentally, RDIS outperforms standard techniques on problems like structure from motion and protein folding.

研究の動機と目的

• AI分野における非凸最適化の課題に取り組むこと。標準的な凸最適化手法は、指数的増加の局所最適解の存在により失敗する。
• 非凸関数の局所モードに内在する組み合わせ的構造を活用すること。標準的な連続最適化手法ではこの構造を活用できない。
• 非凸問題を動的にほぼ独立な部分問題に簡略化するスケーラブルな再帰的分解フレームワークを開発すること。
• タンパク質折りたたみや顕著な局所構造を持つハードな非凸問題において、勾配降下法のランダム再起動やブロック座標降下法といった従来手法を上回ること。
• タンパク質折りたたみやモーションからの構造復元といった分野で、局所的分解可能性を活用して効率的なグローバル最適化を可能にすること。

提案手法

• RDISは、分解の可能性を最大化するように変数を選択することで、非凸目的関数を再帰的に分解する。
• 変数の固定は、残りの関数がほぼ独立な部分関数に分解されるように保証するグラフ分割ヒューリスティクスに基づく。
• 変数の固定後、勾配降下法などの標準的な連続最適化手法を用いて各部分問題を再帰的に最適化する。
• この手法は、決定問題ではなく最適化問題を対象としたSMTソルバーに類似した、連続最適化を問題分解フレームワークに統合する。
• 局所的最小値から脱出するため、再帰的部分問題内で内部再起動が行われ、グローバル探索能力が向上する。
• 滑らかさパラメータεは簡略化の度合いを制御し、探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 非凸関数をほぼ独立な部分問題に再帰的に分解することで、グローバル最適化において指数的高速化を達成できるか？
• RQ2 連続最適化を、離散的組み合わせ問題を対象とした再帰的分解フレームワークに効果的に統合する方法は何か？
• RQ3 タンパク質折りたたみやマルチモーダル関数のような非凸関数における局所的構造は、グローバル最適解への収束をどれほど高速化できるか？
• RQ4 変数選択および分解戦略の選択が、現実の非凸問題における性能に与える影響はどの程度か？
• RQ5 内部再起動を伴う再帰的分解は、勾配降下法の再起動といった標準的手法を上回れるか？

主な発見

• RDISは、広範な非凸問題クラスにおいて、ランダム再起動を伴う勾配降下法に比べて指数的高速化を達成しており、解析的に示されている。
• 高次元の正弦波テスト関数において、RDISはRDIS-NRRを除くすべてのベースライン手法を上回り、ネストされた再起動機構により効果的な部分空間探索が可能である。
• タンパク質折りたたみにおいて、RDISは21のテストタンパク質すべてにおいてCGDおよびBCD-CGDを著しく上回り、ε = 1.0およびε = 2.0の両方の設定で強力な結果を示している。
• RDIS-NRRにおける滑らかさパラメータεの増加により、合計所要時間が減少し、初期段階では得られる最小エネルギーが向上し、より良い小規模な局所最適解の回避が可能になる。
• 再帰的分解と内部再起動を備えた完全なRDISアルゴリズムは、一部のケースではトップレベルの再起動を必要とせずグローバル最小値に到達していることが、軌道解析で示された。
• RDIS-NRRは複数回の実行において一貫した性能向上を示し、分散が低く収束性が向上しており、再帰的分解戦略の堅牢性が確認された。