[論文レビュー] Passed & Spurious: Descent Algorithms and Local Minima in Spiked Matrix-Tensor Models

Stefano Sarao Mannelli, Florent Krząkała+2 more|arXiv (Cornell University)|Feb 1, 2019

Random Matrices and Applications参考文献 26被引用数 16

ひとこと要約

本稿は、スプライクド行列-テンソルモデルにおける損失関数の幾何的性質とアルゴリズムの性能の相関を分析し、Kac-Rice 公式を用いて局所的最小値の数を数え、勾配フローおよび最大尤度近似メッセージパッシング（ML-AMP）の閉形式状態遷移を導出する。両アルゴリズムが、偽の局所的最小値が存在する領域でさえも高い精度を達成することを示しており、アルゴリズムの成功が自明な損失関数の形状を必要としないという仮定に疑問を呈する。

ABSTRACT

In this work we analyse quantitatively the interplay between the loss landscape and performance of descent algorithms in a prototypical inference problem, the spiked matrix-tensor model. We study a loss function that is the negative log-likelihood of the model. We analyse the number of local minima at a fixed distance from the signal/spike with the Kac-Rice formula, and locate trivialization of the landscape at large signal-to-noise ratios. We evaluate in a closed form the performance of a gradient flow algorithm using integro-differential PDEs as developed in physics of disordered systems for the Langevin dynamics. We analyze the performance of an approximate message passing algorithm estimating the maximum likelihood configuration via its state evolution. We conclude by comparing the above results: while we observe a drastic slow down of the gradient flow dynamics even in the region where the landscape is trivial, both the analyzed algorithms are shown to perform well even in the part of the region of parameters where spurious local minima are present.

研究の動機と目的

• 高次元非凸最適化における損失関数の幾何的性質と降下アルゴリズムの性能の関係を理解すること。
• スプライクド行列-テンソルモデルにおけるKac-Rice 公式を用いて、偽の局所的最小値の存在と相関を定量化すること。
• 勾配フローとML-AMPの収束性および精度を、損失関数の自明化と偽の最小値の有無に関連付けて評価すること。
• 特に、偽の最小値が存在しないという条件が、アルゴリズムの成功にとって必要かどうかを、アルゴリズムの性能と損失関数の性質を比較することによって評価すること。

提案手法

• Kac-Rice 公式を用いて、真の信号との相関が与えられたときの局所的最小値の期待値を計算する。
• Langevin 状態遷移形式を適用し、積分微分方程式を介して勾配フローの性能に関する閉形式表現を導出する。
• 最大尤度推定におけるML-AMPの状態遷移を導出し、分析する。
• 数値的および解析的な手法を用いて、勾配フロー、ML-AMP、損失関数の自明化の性能閾値を比較する。
• ML-AMPアルゴリズムにおけるノルム保存を保証するために、球面制約とラグランジュ乗数を用いる。
• ゼロ温度極限を用いてベイズ最適AMPとML-AMPを結びつけ、アルゴリズム設計の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 スプライクド行列-テンソルモデルにおいて、信号と相関する局所的最小値の数は、信号対雑音比に従ってどのように変化するか？
• RQ2 損失関数の形状が自明になる、すなわち偽の局所的最小値が存在しなくなる信号対雑音比はどの程度か？
• RQ3 偽の最小値が存在する状況下で、勾配フローの性能は初期条件や系のサイズにどのように依存するか？
• RQ4 ML-AMPが信号と非ゼロ相関を達成するパラメータ空間の領域はどこか？ そして、勾配フローと比較してどう異なるか？
• RQ5 高次元最適化において、アルゴリズムの成功は、偽の局所的最小値の存在の有無にどの程度依存するか？

主な発見

• ノイズパラメータ ∆₂ が ∆₂^triv を超えると、損失関数の形状は自明化する。すなわち、すべての偽の局所的最小値が消滅する。この ∆₂^triv は ∆p → ∞ のとき 1 に収束する。
• 勾配フローの性能は、自明な損失関数の形状領域でも著しく劣化し、p=3、∆p=1.0 の場合、∆₂^GF ≈ 1.97 で収束時間が発散する。
• ML-AMP は ∆₂ < ∆₂^ML-AMP の範囲で信号と非ゼロ相関を達成する。ここで ∆₂^ML-AMP(∆p) = [−∆p + √(∆p² + 4∆p)] / 2 であり、p=3 の場合、これは ∆₂^triv よりも厳密に小さい。
• ML-AMP が達成する誤差は、複雑度関数 Σ(m) の最大値と一致しており、信号と相関の強い局所的最小値への収束を示している。
• ∆₂ が小さくなるにつれて、ML-AMP が達成するMSE はベイズ最適誤差に近づき、近似的に最適な推論性能を示している。
• 偽の局所的最小値が存在するにもかかわらず、勾配フローとML-AMPの両方が高い精度を達成しており、アルゴリズムの成功が偽の最小値の不在を必要としないことを示している。