[論文レビュー] Goodness-of-fit tests on manifolds

Alexander Shapiro, Yao Xie+1 more|arXiv (Cornell University)|Sep 11, 2019

Sparse and Compressive Sensing Techniques参考文献 26被引用数 5

ひとこと要約

本稿は、多様体上での非線形モデルに対する一般化された適合度検定フレームワークを提案する。非線形最小二乗法による残差が非心カイ二乗分布に従うことを示し、モデルの次数を段階的検定により特定する手法を提供する。この手法は、特徴的ランク（Jacobian行列の一般ランク）を用い、低ランク行列／テンソル補完、信号分離、ニューラルネットワークアーキテクチャ選択への応用を可能にする。

ABSTRACT

We develop a general theory for the goodness-of-fit test to non-linear models. In particular, we assume that the observations are noisy samples of a submanifold defined by a \yao{sufficiently smooth non-linear map}. The observation noise is additive Gaussian. Our main result shows that the "residual" of the model fit, by solving a non-linear least-square problem, follows a (possibly noncentral) $χ^2$ distribution. The parameters of the $χ^2$ distribution are related to the model order and dimension of the problem. We further present a method to select the model orders sequentially. We demonstrate the broad application of the general theory in machine learning and signal processing, including determining the rank of low-rank (possibly complex-valued) matrices and tensors from noisy, partial, or indirect observations, determining the number of sources in signal demixing, and potential applications in determining the number of hidden nodes in neural networks.

研究の動機と目的

• 非線形モデルと多様体構造を持つデータに対する適合度検定の一般化された統計的フレームワークの構築。
• 加法的ガウスノイズ下での非線形最小二乗法による残差の分布の特定。
• 非線形写像に関連するJacobian行列の特徴的ランクを用いた段階的モデル次数選択の実現。
• 予測誤差を計算することが難しい状況において、AIC/BICの代替としての実用的で分布に基づくモデル選択手法の提供。
• 低ランク行列補完、ブランクソース分離、ニューラルネットワークアーキテクチャ探索といった実世界の問題への応用の有効性の提示。

提案手法

• 観測値を滑らかな非線形写像によって定義される部分多様体上のノイズを含むサンプルとしてモデル化する。
• 残差平方和の漸近的分布が、Jacobian行列の特徴的ランクによって決定される非心カイ二乗分布に従うことを導出する。
• 特徴的ランクは、非線形写像のJacobian行列の一般ランクとして計算され、モデル構造と活性化関数に依存する。
• ネストされたモデルを比較するための段階的仮説検定を提案する。この検定では、残差の減少が統計的に有意であるかを検証する。
• 帰無仮説の下で、残差のカイ二乗分布を用いてp値を計算する。
• 勾配降下法を用いた数値実験を通じて、行列／テンソル補完、信号分離、ニューラルネットワークへの応用にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 多様体上での非線形最小二乗法による残差平方和は、既知の統計的分布で特徴づけられるか？
• RQ2 Jacobian行列の特徴的ランクは、非線形モデルにおける正しいモデル次数を特定するためにどのように利用できるか？
• RQ3 このフレームワークは、非線形設定におけるAIC/BICの代替として信頼性があり、分布に基づいたモデル次数選択を可能にするか？
• RQ4 ノイズが混在し、観測が不完全な状況下で、本手法は低ランク行列やテンソルのランクを正しく同定できるか？
• RQ5 本手法は、ニューラルネットワークにおける隠れノード数やブランク信号分離におけるソース数をどれほど正確に特定できるか？

主な発見

• 多様体上での非線形最小二乗法による残差平方和は、Jacobian行列の特徴的ランクに等しい自由度の非心カイ二乗分布に従う。
• 2層ニューラルネットワーク（2次活性化関数）では特徴的ランクが $dr^* - r^*(r^* - 1)/2$、シグモイド活性化関数では $dr^*$ であり、100回の繰り返し実験で確認された。
• ReLU活性化関数を用いたニューラルネットワークにおいて、$r^* = 4$ および $r^* = 5$ の場合、真のランクを94–96％の確率で正しく同定でき、誤発見率は6–12％であった。
• 理論的ランク予測が得られない非解析的活性化関数（例：ReLU）に対しても、本手法は有効に機能する。
• 過小適合モデルに対して有意水準0.05で一貫したp値制御が示され、制御された第一種の誤り率を有する段階的モデル次数選択が可能である。
• 行列補完においてヒューリスティックなランク選択を上回り、核ノルム最小化とは異なり、漸近的にバイアスのない原理的代替手法を提供する。