[論文レビュー] Some convergent results for Backtracking Gradient Descent method on Banach spaces

Tuyen Trung Truong|arXiv (Cornell University)|Jan 16, 2020

Stochastic Gradient Optimization Techniques参考文献 8被引用数 8

ひとこと要約

本稿は、反射的バナッハ空間へのバックトラッキング勾配降下法の収束保証を拡張し、条件Cおよび$C^2$正則性のもとで、アルゴリズムが一般に鞍点を避けて弱収束することを証明する。主な結果は、一般の初期点およびハイパーパrameterに対して、無限次元設定であっても鞍点に収束しないことである。

ABSTRACT

Our main result concerns the following condition: {\bf Condition C.} Let $X$ be a Banach space. A $C^1$ function $f:X ightarrow \mathbb{R}$ satisfies Condition C if whenever $\{x_n\}$ weakly converges to $x$ and $\lim _{n ightarrow\infty}|| abla f(x_n)||=0$, then $ abla f(x)=0$. We assume that there is given a canonical isomorphism between $X$ and its dual $X^*$, for example when $X$ is a Hilbert space. {\bf Theorem.} Let $X$ be a reflexive, complete Banach space and $f:X ightarrow \mathbb{R}$ be a $C^2$ function which satisfies Condition C. Moreover, we assume that for every bounded set $S\subset X$, then $\sup _{x\in S}|| abla ^2f(x)||

研究の動機と目的

• 有限次元ユークリッド空間から無限次元の反射的バナッハ空間へのバックトラッキング勾配降下法の収束結果の一般化を目的とする。
• 無限次元設定におけるバックトラッキングGD法が鞍点を回避する条件を確立すること。
• 有限次元におけるルベーグ測度の代わりに、バナッハ空間における「しんさ」集合を用いて、一般の収束の概念を形式化すること。
• $C^2$関数および凸関数を含む、より広い関数クラスに対し、バックトラッキングGDの理論的保証を無限次元空間へ拡張すること。
• 非ヒルバートバナッハ空間における連続的で滑らかな更新規則を保証するための双対写像の役割を分析すること。

提案手法

• 弱収束する列$\{x_n\}$が$x$に弱収束し、$||\nabla f(x_n)|| \to 0$ならば$\nabla f(x) = 0$となる条件Cを導入し、臨界点への弱収束を保証する。
• 適応的ステップサイズ$\delta(x_n)$を$\{\beta^n \delta_0\}$から選択し、$\delta < \alpha / L(x)$および$\delta ||\nabla f(x)|| < r(x)$を満たす局所バックトラッキングGDを適用する。
• 無限次元におけるコンパクト性の欠如に起因し、強い収束を弱収束のクラスターポイントに置き換えるために、弱位相収束を用いる。
• 一般性を保証するため、バナッハ空間における安定中心多様体定理を用い、『しんさ』の概念に基づく鞍点回避の分析を行う。
• 反射的かつ局所一様凸に再ノルム化された空間$X$に対して、正規化双対写像$J: X^* \to X$を用いて、連続的で定義された更新規則$x \mapsto x - \delta(x) J(\nabla f(x))$を定義する。
• バナッハ空間における「しんさ」集合（[5]より）を用い、有限次元におけるルベーグ測度の代わりに、非鞍点への一般収束の定量的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 弱正則性条件下で、バックトラッキング勾配降下法は無限次元バナッハ空間において鞍点を回避できるか？
• RQ2 反射的バナッハ空間において、バックトラッキングGDが生成する列が臨界点に弱収束する条件は何か？
• RQ3 ルベーグ測度が存在しない無限次元バナッハ空間において、「一般の」収束の概念をどのように形式化できるか？
• RQ4 正規化双対写像は、非ヒルバートバナッハ空間におけるバックトラッキングGDの連続的かつ適切に定義された更新規則を保証するために果たす役割は何か？
• RQ5 条件Cを満たすバナッハ空間上の$C^2$関数に対し、バックトラッキングGDの収束性および鞍点回避性は拡張可能か？

主な発見

• 関数$f$が$C^2$かつ条件Cを満たす限り、バックトラッキングGD列$\{x_n\}$の任意の弱クラスターポイントは$f$の臨界点である。
• $f(x_n) \to -\infty$または$||x_{n+1} - x_n|| \to 0$が成り立ち、反復列が関数値で発散するか、ステップサイズが任意に小さくなることを示す。
• 臨界点集合$\mathcal{C}$の有界な連結成分$A$が存在し、列$\{x_n\}$が$A$にクラスターポイントを持つならば、すべてのクラスターポイントは$A$内にあり、クラスターポイントの集合は連結である。
• 鞍点が高々可算個である関数に対して、鞍点に収束する初期点$x_0$およびハイパーパrameter$\alpha, \beta, \delta_0$の集合は「しんさ」集合である。これは、バナッハ空間測度論における一般性の意味で、このような点が一般に存在することを意味する。
• 空間$X$が可分である場合、弱収束のもとでも同じ鞍点回避性が成り立ち、例外的集合はバナッハ空間の意味で「しんさ」である。
• 正規化双対写像の使用により、反射的バナッハ空間において更新規則$x \mapsto x - \delta(x) J(\nabla f(x))$が連続的かつ適切に定義され、理論的結果が非ヒルバート空間へ拡張可能であることが保証される。