[論文レビュー] Subgradient Projection Operators

B. Pauwels|arXiv (Cornell University)|Mar 27, 2014

Optimization and Variational Analysis参考文献 23被引用数 3

ひとこと要約

この修士論文は、非滑らか最適化における重要な道具である部分勾配射影作用素の理論的性質を調査している。作用素 $ G_f $（点を部分勾配によって定義される半空間への射影に写像する多価作用素）の代数的・位相的・逐次的性質（連続性、単調性、epi収束など）を確立している。中心的貢献は、$ G_f $ の包括的分析であり、特にモアレの近接作用素との関連性や、部分勾配法の加速スキームへの応用が含まれる。

ABSTRACT

Several algebraic and topological properties of subgradient projection operators are investigated and various examples are provided. Connections with Moreau's proximity operator are also made and acceleration schemes for subgradient projection algorihms are discussed. Finally continuity, nonexpansiveness, monotonicity, differentiability, and epi-convergence properties are investigated.

研究の動機と目的

• ヒルバート空間における部分勾配射影作用素の代数的・位相的・逐次的性質を体系的かつ包括的に調査すること。
• 多価作用素 $ G_f $ の選択肢の正則性（連続性、微分可能性、リプシッツ連続性）を調査すること。
• 関数 $ f $ が変化する際の部分勾配射影作用素の列の収束挙動を、epi収束の観点から検討すること。
• 部分勾配射影作用素とモアレの近接作用素との関係を確立すること。
• 作用素 $ G_f $ の構造的性質を活用した、部分勾配射影アルゴリズムの加速技術の開発

提案手法

• ヒルバート空間 $ \mathcal{H} $ に対して、$ f \in \Gamma_0(\mathcal{H}) $ であるとき、部分勾配射影作用素 $ G_f(x) = \left\{ x - \frac{f(x)}{\|u\|^2}u \mid u \in \partial f(x) \right\} $ を定義する。
• 特にモアレ包とフェンヒェル共役関数との関連において、$ G_f $ の合成、加法、インフィコンボリューションの性質を分析する。
• 単価選択肢の連続性および微分可能性を検討し、特定の条件下でリプシッツ連続性が成立することを確立する。
• epi収束理論を適用して、関数 $ f $ が変化する際の $ G_f $ の逐次的挙動を研究する。
• 多価作用素 $ G_f $ の単調性および上部・下部連続性を検討し、それらを部分勾配の性質と関連付ける。
• 特に選択肢設計を活用して、$ G_f $ の構造的性質を活かした部分勾配射影アルゴリズムの加速スキームを提案する。

実験結果

リサーチクエスチョン

• RQ1 部分勾配射影作用素 $ G_f $ の基本的代数的性質（合成やアフィン結合の下での性質）は何か？
• RQ2 選択肢の連続性、微分可能性、リプシッツ連続性は、関数 $ f $ の正則性にどのように依存するか？
• RQ3 関数列 $ f_n \to f $ が epi収束するとき、$ G_f $ の挙動はいかなるものか？ これにより関連アルゴリズムの収束にどのような影響が生じるか？
• RQ4 部分勾配射影作用素 $ G_f $ とモアレの近接作用素との関係は何か？ そして、この関係をアルゴリズムの加速に活用できるか？
• RQ5 多価作用素 $ G_f $ の単調性および半連続性の性質は何か？ それらは関数 $ f $ の部分勾配とどのように関連するか？

主な発見

• 標準的な $ f $ の仮定のもとで、部分勾配射影作用素 $ G_f $ は非拡大的かつ単調的であり、反復スキームの収束を保証する。
• 選択肢は $ \operatorname{dom} f \setminus \{ x \mid f(x) = 0 \} $ 上で連続的かつ局所リプシッツ連続的であり、ほとんど everywhere で微分可能である。
• 関数列 $ f_n \to f $ が epi収束するとき、対応する作用素 $ G_{f_n} $ は $ G_f $ へ epi収束する。これによりアルゴリズムの安定性が保証される。
• 関数 $ f $ が凸かつ下半連続的であるとき、$ G_f $ は特定のパrameter化のもとで、近接作用素の特殊な例として解釈できる。
• 作用素 $ G_f $ の構造的性質を活用して、ステップサイズを最小化または降下を最大化するような部分勾配の選択を行うことで、部分勾配射影アルゴリズムの加速スキームを導出可能である。
• 多価写像としての $ G_f $ は上部連続的であり、その値は閉かつ凸であるため、数値的スキームにおける反復が一意に定義される。