[論文レビュー] Beneath the valley of the noncommutative arithmetic-geometric mean inequality: conjectures, case-studies, and consequences

Benjamin Recht, Christopher Ré|arXiv (Cornell University)|Feb 19, 2012

Mathematical Inequalities and Applications参考文献 32被引用数 39

ひとこと要約

この論文は、ランダム化最適化アルゴリズムにおけるリプレースメントなしサンプリングがしばしばリプレースメントありサンプリングを上回る理由を調査し、正定値自己随伴行列に対する非可換算術幾何平均不等式を提案する。この不等式は可換な行列および2行列の場合に成立することを証明し、同分布の独立同一確率行列において期待値としての成立を確認した。これにより、確率的勾配降下法およびランダム化カツマルツ法において、この条件下で収束が速くなることが示された。

ABSTRACT

Randomized algorithms that base iteration-level decisions on samples from some pool are ubiquitous in machine learning and optimization. Examples include stochastic gradient descent and randomized coordinate descent. This paper makes progress at theoretically evaluating the difference in performance between sampling with- and without-replacement in such algorithms. Focusing on least means squares optimization, we formulate a noncommutative arithmetic-geometric mean inequality that would prove that the expected convergence rate of without-replacement sampling is faster than that of with-replacement sampling. We demonstrate that this inequality holds for many classes of random matrices and for some pathological examples as well. We provide a deterministic worst-case bound on the gap between the discrepancy between the two sampling models, and explore some of the impediments to proving this inequality in full generality. We detail the consequences of this inequality for stochastic gradient descent and the randomized Kaczmarz algorithm for solving linear systems.

研究の動機と目的

• リプレースメントなしサンプリングの実験的成功と理論的分析の間のギャップを埋めること。
• リプレースメントなし手法における高速収束の理論的基盤として、非可換算術幾何平均不等式を確立すること。
• 最小二乗法および線形方程式系の解法におけるリプレースメントありとリプレースメントなしのサンプリングの性能差を分析すること。
• 特にi.i.d.確率行列および可換な行列を含む特定の行列クラスについて、非可換AGM不等式を検証すること。
• 非線形および一般のランダム化アルゴリズムへの拡張を目的とした未解決の予想と研究方向を同定すること。

提案手法

• 正定値自己随伴行列の対称化幾何平均とその算術平均を含む非可換AGM不等式を定式化する。
• 対称化幾何平均を、行列積のすべての置換の平均として定義する：$\bm{M}_G = \frac{1}{n!} \sum_{\sigma \in S_n} \bm{A}_{\sigma(1)} \cdots \bm{A}_{\sigma(n)}$。
• 行列ノルムの比較を用いて、$\|\bm{M}_G\| \leq \|\bm{M}_A\|^n$ が成り立つかを評価する。ここで $\bm{M}_A = \frac{1}{n}\sum \bm{A}_i$ である。
• 行列解析および確率行列理論の道具を用いて、2行列の場合および可換な行列族に対して不等式を証明する。
• i.i.d.サブガウス確率行列（i.i.d.サブガウス成分）に対して、不等式の期待値としての成立を実験的に確認する。
• 対称化なしでは、決定的行列積が $\|\bm{M}_A\|^n$ を指数的要因で超える可能性があることから、対称化の必要性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 すべての正定値自己随伴行列の組に対して、非可換算術幾何平均不等式は成立するか？
• RQ2 対称分布から抽出されたi.i.d.確率行列に対しても、不等式は証明可能か？
• RQ3 ノルムにおいて、対称化幾何平均は常に算術平均の $n$ 乗によって上から抑えられるか？
• RQ4 行列の構造（例：フレーム、可換な行列）は、不等式の成立にどのような影響を及けるか？
• RQ5 非線形または非凸最適化設定へ、不等式を拡張できるか？

主な発見

• 任意の2つの正定値自己随伴行列に対して、行列ノルム不等式を用いた証明により、非可換AGM不等式が成立することが示された。
• すべての行列が可換な場合、同時に対角化可能であり、古典的AGM不等式により不等式が成立する。
• i.i.d.サブガウス成分を持つi.i.d.確率行列に対しては、不等式が期待値において成立し、機械学習分野への応用を支持する。
• 対称化なしでは、決定的行列積が $\|\bm{M}_A\|^n$ を指数的要因で超える可能性があるため、対称化が本質的であることが証明された。
• 不等式により、リプレースメントなしサンプリングの下で、確率的勾配降下法およびランダム化カツマルツ法の収束が速くなることが示された。
• 非対称化された積に対して反例が存在し、一般に不等式が成立するためには対称化が必須であることが確認された。