[論文レビュー] A scale-dependent notion of effective dimension

Oksana Berezniuk, Alessio Figalli+2 more|arXiv (Cornell University)|Jan 29, 2020

Computability, Logic, AI Algorithms参考文献 11被引用数 10

ひとこと要約

本稿では、フィッシャー情報行列をリーマン計量として用い、パラメータ空間を $\sqrt{n/(2\pi)}$ でスケーリングした上でのボックスカウント次元を用いて、統計モデルのスケール依存有効次元を定義する。この方法はフィッシャー行列を標本サイズ $n$ で正則化し、特にフィッシャー行列の固有値が著しく分散している場合には、真の次元 $d$ に収束するまでに非常に大きな $n$ 必要となるが、これにより $d$ よりもきめ細やかで現実的である上限が得られる。

ABSTRACT

We introduce a notion of "effective dimension" of a statistical model based on the number of cubes of size $1/\sqrt{n}$ needed to cover the model space when endowed with the Fisher Information Matrix as metric, $n$ being the number of observations. The number of observations fixes a natural scale or resolution. The effective dimension is then measured via the spectrum of the Fisher Information Matrix regularized using this natural scale.

研究の動機と目的

• 統計学および機械学習における既存の次元概念の限界を是正すること。特に、無限大のデータを仮定し、有限サンプルの解像度を無視する点に起因する。
• 有限サンプルサイズ $n$ における観測可能な複雑性を反映するモデル次元推定を構築すること。この際、$1/\sqrt{n}$ の解像度制限を考慮する。
• 特にニューラルネットワークに対して、VC次元やパラメータ数といった従来の概念よりも、より正確で実用的なモデル複雑性の測度を提供すること。
• パラメータ空間のスケーリングに対して不変であり、かつフィッシャー行列の正規化に対して独立な有効次元の概念を形式化すること。
• 有効次元がパラメータ数 $d$ よりも著しく小さくなる条件を特定すること。特に、フィッシャー行列の固有値が分散している場合に有効である。

提案手法

• スケーリングされたリーマン多様体 $ (\sqrt{n/(2\pi)}\Theta, \bm{F}) $ を定義する。ここで $ \bm{F} $ はフィッシャー情報行列である。
• スケール $ \epsilon = \sqrt{2\pi/n} $ におけるボックスカウント次元を用いて、スケーリングされたパラメータ空間の有効次元を推定する。
• 単位立方体でスケーリングされた空間を覆う必要数を、$ \mathbf{Id}_d + \frac{n}{2\pi}\hat{\bm{F}}(\theta) $ の行列式を用いて計算する。ここで $ \hat{\bm{F}} $ は正規化されたフィッシャー行列である。
• 有効次元を $ \text{dim}_{\text{eff},n}(\mathcal{M}) = 2 \frac{\log \left( \frac{1}{V_\Theta} \int_\Theta \sqrt{\det(\mathbf{Id}_d + \frac{n}{2\pi}\hat{\bm{F}}(\theta))} \, d\theta \right) }{\log(n/(2\pi))} $ として定式化する。
• パラメータ空間体積 $ V_\Theta $ に依存しないスケール不変性を確保するため、$ \bm{F} $ をその平均トレースで正規化する。
• ニューラルネットワークにこの手法を適用し、特に $ \hat{\bm{F}} $ の固有値が著しく分散している場合には、有効次元が $ n $ に対してゆっくりと増加することを示す。

実験結果

リサーチクエスチョン

• RQ1 有限サンプルサイズ $ n $ に依存する有効次元を、統計的推定の解像度制限を反映する形で定義するにはどうすればよいか？
• RQ2 フィッシャー情報行列の固有値スペクトルと、有効次元が真の次元 $ d $ に収束するレートとの関係は何か？
• RQ3 特に過パラメータ化されたモデル（例：ニューラルネットワーク）において、有効次元がパラメータ数 $ d $ よりもきめ細やかな複雑性の上限を提供できるか？
• RQ4 有効次元が $ n $ に対して必ずしも単調に増加しないのはなぜか？これは解像度依存複雑性の性質に何を示唆するか？
• RQ5 フィッシャー行列をその平均トレースで正規化することで、有効次元の不変性と解釈可能性にどのような影響を与えるか？

主な発見

• 正規化されたフィッシャー行列 $ \hat{\bm{F}} $ の固有値が著しく分散している場合には、$ n \to \infty $ のとき、有効次元 $ \text{dim}_{\text{eff},n}(\mathcal{M}) $ は真の次元 $ d $ に収束するが、収束は非常に遅い。
• $ \hat{\bm{F}} = \mathbf{Id}_d $ の場合、有効次元は $ d + O(d/(n \log n)) $ に近づくため、固有値が一様な分布にある場合には速やかに収束することが示される。
• 数値シミュレーションでは、固有値の分散のため、大きな $ n $ に対しても有効次元は $ d $ より著しく小さく保たれ、きめ細やかな複雑性の上限としての有効性が実証される。
• 有効次元は $ n $ に対して必ずしも単調ではない。これは、スケールに依存するボックスカウント次元関数の非単調性を反映している。
• パラメータ空間 $ \Theta $ のスケーリングに対して不変である。これは、$ \bm{F} $ をその平均トレースで正規化することで、異なるモデルパrametrization間で一貫した解釈が可能になるためである。
• 有効次元は解像度 $ 1/\sqrt{n} $ におけるパラメータ空間内の有効な方向数を捉えており、$ 2\pi/n $ よりも大きな固有値が次元推定に意味的に寄与する。