[論文レビュー] Landscape Complexity for the Empirical Risk of Generalized Linear Models

Antoine Maillard, Gérard Ben Arous+1 more|arXiv (Cornell University)|Dec 4, 2019

Statistical Methods and Inference参考文献 49被引用数 8

ひとこと要約

本稿では、高次元一般化線形モデルにおける経験的リスクの臨界点の平均および典型的な数の対数である、アンネールドおよびクエンチド複雑度を厳密かつ非厳密な手法で計算する方法を開発する。非ガウス分布、高次元の確率的関数へKac-Rice法を拡張することで、両複雑度の明示的な変分公式を導出し、特に最適化の難易度が変化する領域遷移を含む、ランドスケープのトポロジーの精密な特徴づけを可能にする。

ABSTRACT

We present a method to obtain the average and the typical value of the number of critical points of the empirical risk landscape for generalized linear estimation problems and variants. This represents a substantial extension of previous applications of the Kac-Rice method since it allows to analyze the critical points of high dimensional non-Gaussian random functions. Under a technical hypothesis, we obtain a rigorous explicit variational formula for the annealed complexity, which is the logarithm of the average number of critical points at fixed value of the empirical risk. This result is simplified, and extended, using the non-rigorous Kac-Rice replicated method from theoretical physics. In this way we find an explicit variational formula for the quenched complexity, which is generally different from its annealed counterpart, and allows to obtain the number of critical points for typical instances up to exponential accuracy.

研究の動機と目的

• 高次元一般化線形モデルにおける経験的リスクランドスケープのトポロジカル構造、特に偽の臨界点が存在する状況を特徴づけること。
• 機械学習で生じる非ガウス分布、高次元の経験的リスク関数を解析するために、Kac-Rice法をガウス分布関数の範囲を越えて拡張すること。
• 技術的仮定の下で、アンネールド複雑度（臨界点数の平均の対数）を厳密に計算すること。
• 統計物理学の非厳密だが正確なレプリカ法を用いて、クエンチド複雑度（臨界点数の典型的な対数）の明示的公式を導出すること。
• 最適化ランドスケープの完全なトポロジカル解析、特にランドスケープが「良性」に変わるフェーズ遷移の特定を可能にすること。

提案手法

• 非ガウス分布データを有する一般化線形モデルにおける経験的リスクの臨界点数の期待値を計算するためにKac-Rice法を適用する。
• ヘッセ行列の行列式濃縮に関する技術的仮定の下で、アンネールド複雑度の厳密な変分公式を導出する。
• サンフランツォの定理とバーダハンの補題を用いて、重なりパラメータおよび経験的測度の鞍点近似を実行する。
• 統計物理学のレプリカ法を用いてクエンチド複雑度を計算し、典型的なランドスケープ行動を捉える。
• 適切な技術的条件の下で、二値分類、混合ガウス分布、非監視学習を含む複数のモデルにフレームワークを一般化する。
• 非球面的事前分布を、独立同分布の成分分布を分離することで扱い、球対称性を超えた適用範囲を拡張する。

実験結果

リサーチクエスチョン

• RQ1 高次元一般化線形モデルにおける経験的リスクランドスケープの典型的な臨界点数は何か？
• RQ2 アンネールド複雑度とクエンチド複雑度はどのように異なるのか？どちらが典型的なインスタンスをより良く特徴づけるか？
• RQ3 機械学習で生じる非ガウス分布、高次元の確率的関数に対して、Kac-Rice法を拡張可能か？
• RQ4 ランドスケープが多数の偽の最小値を持つ状態から「良性」に変わるトポロジカル遷移点は何か？
• RQ5 このようなランドスケープにおける臨界点のヘッセ行列およびインデックス分布はどのように特徴づけられるか？

主な発見

• ヘッセ行列の濃縮に関する技術的仮定の下で、アンネールド複雑度（臨界点数の平均の対数）の厳密な明示的変分公式が導出された。
• 典型的なランドスケープ行動を反映するクエンチド複雑度は、非厳密だが正確なレプリカ法を用いて計算され、アンネールドの場合とは別個でより情報量の多い公式が得られた。
• クエンチド複雑度の公式により、典型的なインスタンスにおける臨界点数の指数的精度の推定が可能となり、アルゴリズムの性能理解に不可欠である。
• 本手法は非ガウス分布データを有する一般化線形モデルに適用可能であり、従来のKac-Rice法がガウス関数に限定されていた点を拡張する。
• 二値分類、混合ガウス分布、非球面的事前分布を有する非監視学習といった主要なモデルについて、明示的公式が導出された。
• 結果から、アンネールド複雑度は稀なインスタンスに支配されており、クエンチド複雑度はアルゴリズム的に関連性のある典型的なランドスケープ構造を捉えていることが明らかになった。