[論文レビュー] On Unified Modeling, Canonical Duality-Triality Theory, Challenges and Breakthrough in Optimization

David Yang Gao|arXiv (Cornell University)|May 18, 2016

Advanced Optimization Algorithms Research参考文献 55被引用数 8

ひとこと要約

本稿では、多スケール複雑系における非凸最適化問題のモデリングと解法を統一的フレームワークとして提示する正準双対性・双対性理論を導入する。物体性および仕事共役性といった物理的原則に裏打ちすることで、NP困難性を含む長年のグローバル最適化の課題を解決し、伝統的な双対性理論、ラグランジュ法、半定値計画法や半2次正則化といった現代的手法を統合する、きめ細やかな数学的基盤を提供する。

ABSTRACT

A unified model is addressed for general optimization problems in multi-scale complex systems. Based on necessary conditions and basic principles in physics, the canonical duality-triality theory is presented in a precise way to include traditional duality theories and popular methods as special applications. Two conjectures on NP-hardness are discussed, which should play important roles for correctly understanding and efficiently solving challenging real-world problems. Applications are illustrated for both nonconvex continuous optimization and mixed integer nonlinear programming. Misunderstandings and confusion on some basic concepts, such as objectivity, nonlinearity, Lagrangian, and Lagrange multiplier method are discussed and classified. Breakthrough from recent false challenges by C. Zălinescu and his co-workers are addressed. This paper will bridge a significant gap between optimization and multi-disciplinary fields of applied math and computational sciences.

研究の動機と目的

• 多スケール複雑系における一般非凸最適化問題のための統一的数学的フレームワークを確立すること。
• 物体性、非線形性、双対性に関する最適化文献における概念的・方法論的混乱を、物理的原則に裏打ちすることで解消すること。
• 特にC. Zălinescuらによる最近の誤った挑戦を、彼らの反例に内在する数学的および倫理的誤りを暴露することで反証すること。
• ラグランジュ乗数法、ペナルティ法、SDP、画像処理正則化といった既存手法が正準双対性フレームワークの特殊ケースとして示されることで、理論の普遍性を実証すること。
• 一貫性のある物理的根拠に基づく双対性理論を通じて、力学、物理学、計算科学といった応用分野と数学的最適化の溝を埋めること。

提案手法

• 内部エネルギー $W({\bf D}\boldsymbol{\chi}})$ と外部仕事 $F(\boldsymbol{\chi}})$ を用いて、ポテンシャルエネルギー原理に基づくグローバル最適化問題の正準形を定式化する： $\Pi(\boldsymbol{\chi}}) = W({\bf D}\boldsymbol{\chi}}) + F(\boldsymbol{\chi}})$。
• 補完双対原理を用いて、複雑な非凸問題を一様な解析的解を有する双対形式に正準変換する。
• ヘッセ行列構造の分析を通じて、双対関数の極値を特定するための三重性理論を適用する。
• 演算子 $\Lambda(\boldsymbol{\chi}})$ の幾何的非線形性が、非凸性、分岐、カオス、NP困難性の根本的要因であると特定する。
• 高次元・多スケール系をモデル化するため、線形演算子 $\bf D$ と $\Lambda$ を合成形 $\bf D = D_n \circ \cdots \circ D_1$ および $\Lambda = \Lambda_m \circ \cdots \circ \Lambda_1$ に一般化する。
• プライマル解と双対解の差を測る厳密な双対ギャップ関数を確立し、数値アルゴリズムにおける収束の検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般非凸最適化問題を多スケール系にわたって統一的数学的モデルとして構築するにはどうすればよいか？
• RQ2 幾何的非線形性が最適化問題における非凸性、分岐、NP困難性を引き起こす役割は何か？
• RQ3 従来の双対性理論は非凸設定ではなぜ失敗するのか？正準双対性・双対性理論はその制限をどのように克服するか？
• RQ4 Zălinescu らによる正準双対性・双対性理論への最近の挑戦における概念的・数学的欠陥は何か？
• RQ5 グローバル最適化で広く用いられる手法（例：SDP、半2次正則化）は、単一の統一的双対性フレームワークの特殊ケースとして導出可能か？

主な発見

• 正準双対性・双対性理論は、三重性条件を通じてグローバル解と局所解を特定することにより、非凸最適化問題に対して完全かつ正確な解を提供する。
• ラグランジュ乗数法やペナルティ法といった従来の手法は、凸設定において正準双対性フレームワークの特殊ケースとして示される。
• 半定値計画法（SDP）と画像処理における半2次正則化は、正準双対性理論に自然に埋め込まれており、その広範な適用可能性を示している。
• 理論は、演算子 $\Lambda(\boldsymbol{\chi}})$ の幾何的非線形性が最適化問題における非凸性およびNP困難性の根本的要因であると明らかにする。
• Zălinescu らによる誤った挑戦は、彼らの「反例」が誤った仮定に依拠しており、かつ基礎論文 [28, 29] を正しく引用していないことから、数学的・倫理的誤りを露呈することで反証される。
• 正準双対性・双対性理論は数学的に厳密で、連続体力学と変分原理に根ざしており、多様な科学的・工学的問題に適用可能な自然の普遍的法則である。