[論文レビュー] No-go Theorem for Acceleration in the Hyperbolic Plane

Linus Hamilton, Ankur Moitra|arXiv (Cornell University)|Jan 14, 2021

3D Shape Modeling and Analysis参考文献 37被引用数 6

ひとこと要約

この論文は、双曲平面における測地的凸最適化に対して、Nesterov風の加速勾配法が存在し得ないというノーガ theorem を証明している。たとえ指数関数的に小さいノイズが存在しても同様である。主な洞察は、負の曲率空間では指数関数的体積増大が過去の勾配情報の陳腐化を引き起こし、ノイズありオракルのもとで加速は情報理論的に不可能であるということである。

ABSTRACT

In recent years there has been significant effort to adapt the key tools and ideas in convex optimization to the Riemannian setting. One key challenge has remained: Is there a Nesterov-like accelerated gradient method for geodesically convex functions on a Riemannian manifold? Recent work has given partial answers and the hope was that this ought to be possible. Here we dash these hopes. We prove that in a noisy setting, there is no analogue of accelerated gradient descent for geodesically convex functions on the hyperbolic plane. Our results apply even when the noise is exponentially small. The key intuition behind our proof is short and simple: In negatively curved spaces, the volume of a ball grows so fast that information about the past gradients is not useful in the future.

研究の動機と目的

• リーマン多様体の非正曲率を持つ場合に、Nesterov風の加速が geodesically convex 最適化で可能かどうかという長年の未解決問題を解消すること。
• 最小限のノイズのもとでも、双曲平面では加速が根本的になされ得ないことを示すこと。
• 負の曲率空間では、急速な体積増大のため過去の勾配情報が速やかに無関係になるという直感を形式化すること。
• 最適化を越えて適用可能な一般情報理論的下界を確立すること。
• 曲がった空間における幾何的直感と形式的複雑性下界のギャップを埋めること。

提案手法

• プレーヤーがノイズのある応答を使って隠されたアイテムを特定する『ノイズありクエリゲーム』に勾配オラクル問題を抽象化する。
• プレーヤーが事後分布ではなく、残存オプション数のみを追跡する、透明なバージョンのゲームを導入する。
• 各クエリにおける不確実性の期待対数減少に基づく情報理論的議論を用いる。
• ジェンセンの不等式とマルコフの不等式を適用し、不確実性を1つのオプションにまで低下させるために必要なクエリ数の下界を導出する。
• 双曲平面における凸最適化問題を、空間を指数関数的に多数の点に離散化し、互いに大きな距離を保つことで、ノイズありクエリゲームに還元する。
• R^3 におけるクエリ応答領域の体積を、r およびノイズパラメータ C に関して多項式的に抑え、その成長を制限する。

実験結果

リサーチクエスチョン

• RQ1 双曲平面における 1--strongly convex かつ O(r)-smooth 関数に対して、δ-ノイズ勾配オラクルを用いたアルゴリズムが、最小値から r/5 以内の点を求めるには、確率 2/3 以上で成功するためには最低でも Ω(r / (log r + log 1/δ)) 回のクエリが必要となる。
• RQ2 下界は、ノイズ δ が指数関数的に小さい場合でも成立しており、加速の不可能性がノイズの大きさではなく幾何的構造に起因していることを示している。
• RQ3 双曲平面における球体積の指数的増大は、過去の勾配情報が速やかに無関係になる原因となり、モーメンタムに基づく加速は効果を失う。
• RQ4 クエリゲームの抽象化により、一般の下界が得られる：サイズ n の集合において、各クエリが不確実性を log(c|X|) 以内にしか減少させられない場合、少なくとも Ω(log n / log(|X|c)) 回のクエリが必要となる。
• RQ5 クエリ応答の可能性のある集合 |X| は r および C に関して多項式的に抑えられ、n = e^{Θ(r)} のとき、クエリ複雑度は Ω(r / (log r + log C)) となる。
• RQ6 この結果は、標準的なノイズありオラクルモデルのもとでも、双曲平面ではグローバルな加速が不可能であることを示している。

主な発見

• 双曲平面において、1--strongly convex かつ O(r)-smooth 関数の最小値から r/5 以内の点を、δ-ノイズ勾配オラクルを用いて確率 2/3 以上で特定するには、期待して Ω(r / (log r + log 1/δ)) 回のクエリが必要である。
• 下界は、ノイズ δ が指数関数的に小さい場合でも成立し、加速の不可能性がノイズの大きさではなく幾何的構造に起因していることを示している。
• 双曲平面における球体積の指数的増大は、過去の勾配情報が速やかに無関係になる原因となり、モーメンタムに基づく加速は効果を失う。
• クエリゲームの抽象化により、一般の下界が得られる：サイズ n の集合において、各クエリが不確実性を log(c|X|) 以内にしか減少させられない場合、少なくとも Ω(log n / log(|X|c)) 回のクエリが必要となる。
• クエリ応答の可能性のある集合 |X| は r および C に関して多項式的に抑えられ、n = e^{Θ(r)} のとき、クエリ複雑度は Ω(r / (log r + log C)) となる。
• この結果は、標準的なノイズありオラクルモデルのもとでも、双曲平面ではグローバルな加速が不可能であることを示している。