[論文レビュー] Long term dynamics of the subgradient method for Lipschitz path differentiable functions

Jérôme Bolte, Edouard Pauwels+1 more|arXiv (Cornell University)|May 29, 2020

Numerical methods in inverse problems参考文献 46被引用数 6

ひとこと要約

本稿は、局所リプシッツ的かつパス微分可能な非凸・非滑らか関数に対して、消えるステップサイズを用いた部分勾配法の長期的挙動を分析する。閉測度論的枠組みを導入することで、局所的振動補償を確立し、極限点まわりの時間平均された部分勾配が消えることを示し、反復の振動的挙動に隠れた構造を明らかにする。

ABSTRACT

We consider the long-term dynamics of the vanishing stepsize subgradient method in the case when the objective function is neither smooth nor convex. We assume that this function is locally Lipschitz and path differentiable, i.e., admits a chain rule. Our study departs from other works in the sense that we focus on the behavoir of the oscillations, and to do this we use closed measures. We recover known convergence results, establish new ones, and show a local principle of oscillation compensation for the velocities. Roughly speaking, the time average of gradients around one limit point vanishes. This allows us to further analyze the structure of oscillations, and establish their perpendicularity to the general drift.

研究の動機と目的

• 目的関数が非凸的かつ非滑らかである場合の、消えるステップサイズを用いた部分勾配法の長期的ダイナミクスを理解すること。
• 反復の振動構造を分析すること。これは、振動的ではあるが数値的に安定であることが知られている。
• 振動挙動に隠れた正則性を捉える理論的枠組みを構築すること、特に極限点付近での構造に焦点を当てる。
• 局所的振動補償を確立し、極限点付近の時間平均された部分勾配が消えることを示すこと。
• 部分列収束を超えて、閉測度を用いて振動の漸近的構造を特徴づけることにより収束結果を拡張すること。

提案手法

• 部分勾配列の漸近的挙動を分析するため、測度論的手法を用い、軌道をリプシッツ関数の空間内の曲線として扱う。
• 微分積分学の理論において元来用いられる閉測度の理論を、離散的ダイナミクスに応用する。具体的には、部分勾配列から補間曲線を構築する。
• 極限測度を、補間曲線に沿った経験的測度のプッシュフォワードの弱収束極限として定義し、長期的な速度分布の分析を可能にする。
• 滑らか化（モリフィケーション）を用いて特異測度を滑らかにし、明確な重心場を持つ近似流れを構築する。
• プロホロフの定理を用いて、測度の弱収束部分列を抽出し、極限閉測度の存在を保証する。
• アーベル・アスcoliの定理を用いて、リプシッツ曲線の空間の逐次的コンパクト性を確立し、補間曲線の部分列の収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 凸性や滑らかさが欠如する状況下で、部分勾配法の振動挙動はどのように特徴づけられるか？
• RQ2 反復が臨界点のまわりを振動する場合、極限ダイナミクスにどのような構造的性質が現れるか？
• RQ3 極限点まわりの時間平均された部分勾配が消えることを示せるか。これは、振動補償の形式を示唆する。
• RQ4 部分勾配法がパス微分可能な関数に対して局所的振動補償を示すための条件は何か？
• RQ5 閉測度枠組みは、部分勾配反復の漸近的構造をどのように深く分析可能にするか？

主な発見

• 部分勾配列の任意の極限点まわりの時間平均された部分勾配は消える。これは、局所的振動補償の原理を確立する。
• ウィarton分離可能関数に対しては、漸近的ダイナミクスが、振動と一般のドリフトの間で直交する構造を示し、振動がネット移動に寄与しないことを示唆する。
• パス微分可能性と弱いサード型仮定の下で、既知の臨界点集合への収束結果が回復される。
• 閉測度枠組みにより、ベンアイム＝ホーフバウアー＝ソリンの連続時間近似に依存せずに、振動の厳密な解析が可能になる。
• 部分勾配列から構築された極限測度は閉測度である。これは、長期的にはネットフローがないことを反映するバランス条件を満たす。
• 位置の収束がなくても、時間平均速度がゼロに収束することが示され、平均化の安定化効果が強調される。