[論文レビュー] Double descent in the condition number

Tomaso Poggio, Gil Kur+1 more|arXiv (Cornell University)|Dec 12, 2019

Random Matrices and Applications参考文献 16被引用数 13

ひとこと要約

この論文は、i.i.d. 0 平均単位分散を持つランダムな $ n \times d $ 行列 $ A $ の条件数が、$ d $ の関数として二重降下（double descent）を示すことを示している。これは、Marchenko-Pastur 側法に従う特異値分布に起因する。主な発見は、過決定系（$ n > d $）および未定義系（$ n < d $）が正方系（$ n = d $）よりも良好に条件付けられていることである。これは、逆問題や機械学習、特にカーネル法における安定性に影響を与える。

ABSTRACT

In solving a system of $n$ linear equations in $d$ variables $Ax=b$, the condition number of the $n,d$ matrix $A$ measures how much errors in the data $b$ affect the solution $x$. Estimates of this type are important in many inverse problems. An example is machine learning where the key task is to estimate an underlying function from a set of measurements at random points in a high dimensional space and where low sensitivity to error in the data is a requirement for good predictive performance. Here we discuss the simple observation, which is known but surprisingly little quoted (see Theorem 4.2 in \cite{Brgisser:2013:CGN:2526261}): when the columns of $A$ are random vectors, the condition number of $A$ is highest if $d=n$, that is when the inverse of $A$ exists. An overdetermined system ($n&gt;d$) as well as an underdetermined system ($n

研究の動機と目的

• 次元 $ d $ の関数としてランダム行列の条件数の挙動を分析すること、特に過決定系および未定義系との関係を明らかにすること。
• ランダム行列理論を用いて、一意な逆行列が存在するにもかかわらず $ n = d $ のとき条件数が最悪になる理由を説明すること。
• 高次元 i.i.d. データから導かれるカーネル行列に対し、条件数における二重降下現象を拡張すること。
• 線形系の安定性と機械学習における一般化性能（特に補間モデル）との関連を明らかにすること。
• 高次元 i.i.d. データに基づくカーネル法が、$ \gamma = n/d < 1 $ のとき正則化なしに本質的に良好に条件付けられていることを示すこと。

提案手法

• 条件数 $ \kappa(A) = \sigma_{\text{max}}(A)/\sigma_{\text{min}}(A) $ は、i.i.d. 0 平均単位分散のエントリを持つ大規模なランダム行列に対して Marchenko-Pastur 側法を用いて分析される。
• $ n, d \to \infty $ の漸近的極限を $ \gamma = n/d $ を固定したもとで考察し、$ A $ の最大および最小特異値の極限分布を導出する。
• $ \kappa(A) = \|A\| \|A^\dagger\| $ を定義するために作用素ノルムおよび疑似逆行列を用い、極端な特異値の比と関連付ける。
• カーネル行列 $ K(x_i, x_j) = f(x_i^T x_j) $ に対して、El Karoui (2010) の結果を適用し、ややいなごましの条件下でカーネル行列が漸近的に $ XX^T $、単位行列、およびすべての成分が 1 の行列の線形結合に類似し、Marchenko-Pastur スペクトルを保存することを示す。
• MATLAB の 'cond' 関数を用いた数値的検証により、線形および径路基底カーネル行列の両方で二重降下パターンが確認された。
• 最小特異値に関するランダム行列の理論的結果（Rudelson & Vershynin (2009) や Davidson & Szarek (2001) の結果）を理論的根拠として用いる。

実験結果

リサーチクエスチョン

• RQ1 なぜランダム行列 $ A \in \mathbb{R}^{n \times d} $ の条件数が $ n = d $ のとき最大になるのか？
• RQ2 $ d $ の関数として $ A $ の条件数は、特に $ n > d $、$ n = d $、$ n < d $ の領域でどのように振る舞うか？
• RQ3 高次元 i.i.d. データから構築されたカーネル行列に対し、条件数の二重降下挙動はどの程度まで拡張可能か？
• RQ4 $ n/d < 1 $ のとき、正則化なしにカーネル法が本質的に良好に条件付けられていると言えるか？
• RQ5 条件数における二重降下と、現代の機械学習で観察される一般化誤差における二重降下との間にはどのような関連があるか？

主な発見

• i.i.d. $ \mathcal{N}(0,1) $ のエントリを持つランダムな $ n \times d $ 行列の条件数は、$ n = d $ のときピークに達し、$ n/d \to 0 $ および $ n/d \to \infty $ の両方で最小値を示す二重降下パターンを示す。
• $ \gamma = n/d < 1 $ のとき、$ \frac{1}{d}AA^T $ の最小特異値は $ (1 - \sqrt{\gamma})^2 $ のまわりに集中し、$ \gamma > 1 $ のとき、$ \frac{1}{n}A^T A $ の最小特異値は $ (1 - \sqrt{\gamma^{-1}})^2 $ のまわりに集中する。
• $ \gamma = 1 $ のとき、最小特異値は $ \min\{n^{-1}, d^{-1}\} (\max\{\sqrt{n} - \sqrt{d-1}, \sqrt{d} - \sqrt{n-1}\})^2 $ のオーダーとなり、$ \gamma \neq 1 $ の領域と比較して顕著に小さくなる。
• $ n = d $ の正方系と比較して、$ x = A^\dagger b $ の疑似逆行列解の条件数は通常ははるかに良好（1 に近い）である。これは、未定義系または過決定系の特異値分布が改善されているためである。
• 滑らかなカーネル（例：径路基底関数）を用いた i.i.d. 高次元データに基づくカーネル行列は、Marchenko-Pastur の極限下で $ XX^T $、単位行列、すべての成分が 1 の行列の線形結合と漸近的に同等であるため、線形ランダム行列と同様に条件数に二重降下挙動を示す。
• 条件数における二重降下は、線形およびカーネル補間モデルで観察されるテスト誤差における二重降下と一致しており、機械学習における数値的安定性と一般化性能の間には深い関連があることを示唆している。