[論文レビュー] Recht-Ré Noncommutative Arithmetic-Geometric Mean Conjecture is False

Zehua Lai, Lek‐Heng Lim|arXiv (Cornell University)|Jun 2, 2020

Stochastic Gradient Optimization Techniques参考文献 19被引用数 6

ひとこと要約

この論文は、一般の $ n $ に対して Recht–Ré の非可換算術-幾何平均推測を反証し、非可換 Positivstellensatz を用いて、$ n \geq 5 $ のとき不等式が成り立たないことを示している。著者らは推測を半正定値計画に還元し、$ n = 5 $ のとき提示された下界が不成立であることを示した。これにより、無作為抽出における差し引きなしサンプリングが確率的最適化において常に差し引きありサンプリングを上回るとの基礎的仮定が否定された。

ABSTRACT

Stochastic optimization algorithms have become indispensable in modern machine learning. An unresolved foundational question in this area is the difference between with-replacement sampling and without-replacement sampling -- does the latter have superior convergence rate compared to the former? A groundbreaking result of Recht and Ré reduces the problem to a noncommutative analogue of the arithmetic-geometric mean inequality where $n$ positive numbers are replaced by $n$ positive definite matrices. If this inequality holds for all $n$, then without-replacement sampling indeed outperforms with-replacement sampling. The conjectured Recht-Ré inequality has so far only been established for $n = 2$ and a special case of $n = 3$. We will show that the Recht-Ré conjecture is false for general $n$. Our approach relies on the noncommutative Positivstellensatz, which allows us to reduce the conjectured inequality to a semidefinite program and the validity of the conjecture to certain bounds for the optimum values, which we show are false as soon as $n = 5$.

研究の動機と目的

• 確率的最適化における差し引きなしサンプリングの優位性に関する長年の Recht–Ré 推測を解決すること。
• 特に行列値サンプリング戦略の文脈において、非可換算術-幾何平均不等式がすべての $ n $ に対して成り立つかどうかを特定すること。
• 確率的アルゴリズムにおける差し引きありと差し引きなしサンプリングのスペクトルノルム不等式を比較する推測の妥当性を評価すること。
• 推測の正確な失敗点を特定することで、確率的最適化における収束速度の理論的理解を精緻化すること。

提案手法

• 非可換 Positivstellensatz を適用して、行列不等式の推測を半正定値計画に変換すること。
• Recht–Ré 不等式の有効性を半正定値計画の最適値の境界に還元すること。
• 得られた最適化問題の可解性を分析することで、$ n = 5 $ に対する明示的な反例を構成すること。
• 和の平方分解と対称的制約を用いて、小さな $ m $ および $ n $ に対して推測を検証すること。
• 代数的恒等式と正定値性のチェックを通じて、推測における下界の失敗を検証すること。
• 推測不等式における上界と下界の成分の非対称性を分析すること。

実験結果

リサーチクエスチョン

• RQ1 Recht–Ré の非可換算術-幾何平均不等式はすべての $ n \geq 5 $ に対して成り立つか？
• RQ2 非可換 Positivstellensatz は、このような形式の行列ノルム不等式の検証または反証に効果的に用いられるか？
• RQ3 Recht–Ré 推測における下界は $ n = 5 $ に対して有効か、それともあまりに制限的か？
• RQ4 $ n = 5 $ での失敗にもかかわらず、$ m = 4 $ では推測が成り立つか？
• RQ5 行列不等式における差し引きなしサンプリング項の正しい下界は何か？

主な発見

• Recht–Ré の非可換算術-幾何平均推測は $ n = 5 $ において誤りであり、提示された下界が成立しないことが判明した。
• 失敗の原因は、推測不等式における下界が大きすぎるためであり、$ n = 5 $ における対応する半正定値計画に実行可能解がないことによる。
• $ m = 2 $ の場合、$ n = 2 $ に対して鋭い下界が得られ、元の推測を改善した。
• Recht–Ré 不等式における上界は依然として妥当であり、すべての $ m \leq n $ に対して成り立つと仮定されている。
• $(m,n) = (4,4)$ および $(4,5)$ では推測が成り立つため、$ m = 4 $ では成立する可能性があるが、$ n = 5 $ では下界で失敗する。
• 非可換 Positivstellensatz は、行列不等式の推測を半正定値プログラミングにおける計算的可解性問題に還元する強力なフレームワークを提供する。