[論文レビュー] Consistent estimation of the architecture of multilayer perceptrons

Joseph Rynkiewicz|ArXiv.org|Feb 22, 2008

Neural Networks and Applications参考文献 9被引用数 6

ひとこと要約

本稿は、過学習に起因するパラメータの同定不能性により特異的となるフィッシャー情報行列を有するガウスノイズ付き単一隠れ層多層パーセプトロン（MLP）のアーキテクチャ選択において、BICなどの情報基準の理論的整合性を確立する。再パラメータ化により識別可能および同定不能な成分を分離し、GassiatおよびLiu & Shaoの最近の漸近理論を適用することで、パラメータの有界制約下でも尤度比統計量が一様収束することを証明し、標本サイズが増加するにつれてBICが真の隠れユニット数を一貫して選択できることを保証する。

ABSTRACT

We consider regression models involving multilayer perceptrons (MLP) with one hidden layer and a Gaussian noise. The estimation of the parameters of the MLP can be done by maximizing the likelihood of the model. In this framework, it is difficult to determine the true number of hidden units using an information criterion, like the Bayesian information criteria (BIC), because the information matrix of Fisher is not invertible if the number of hidden units is overestimated. Indeed, the classical theoretical justification of information criteria relies entirely on the invertibility of this matrix. However, using recent methodology introduced to deal with models with a loss of identifiability, we prove that suitable information criterion leads to consistent estimation of the true number of hidden units.

研究の動機と目的

• フィッシャー情報行列がパラメータの同定不能性により特異的となる状況下で、BICなどの情報基準が多層パーセプトロンのアーキテクチャ選択において理論的に整合しない問題を解決すること。
• 過パラメータ化が生じる状況下でも、古典的情報基準が一貫してMLPモデル選択に適用可能となる十分条件を確立すること。
• 罰則付き尤度法（例：BIC）の実用的使用を正当化するため、その一貫性に関する厳密な漸近的基礎を提供すること。
• 非正規モデルに対する最近の漸近理論を、有界パラメータを伴うフィードフォワードニューラルネットワークの文脈に拡張すること。
• パラメータ空間の有界制約下でも尤度比統計量が一様収束することを示し、BICの収束性を保証すること。

提案手法

• 真の隠れユニット数 $k^0$ を根拠に、同等のパラメータを識別可能および同定不能な成分に分類するパーティショニング方式を用いてMLPモデルを再パラメータ化する。
• パラメータ化 $\theta = (\Phi_t, \psi_t)$ を導入し、$\Phi_t$ が識別可能部分、$\psi_t$ が同定不能部分を表す。$F_{(\Phi_t^0, \psi_t)} = F_{\theta^0}$ が成り立つのは $\Phi_t = \Phi_t^0$ の場合に限ることを保証する。
• 真のパラメータ周りでの尤度関数の対数のテイラー展開を用いて、尤度比統計量の漸近的展開を導出。活性化関数 $\phi$ の有界性および滑らかさに関する仮定を活用する。
• ドンスカークラス条件を適用し、$\Phi_t$ によってインdeックスされるスコア関数がドンスカークラスを形成することを示し、経験過程の弱収束を可能にする。
• Gassiat (2002) の定理を用いて、有界パラメータ制約下でも尤度比統計量が一様収束することを結論づけ、これによりBICの一貫性が保証される。
• スコア関数クラスを覆うために必要な最小の $\epsilon$-ブラケット数が $O(\epsilon^{-3k^0})$ のオーダーで増加することを示し、ドンスカー性を確認する。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー情報行列が過パラメータ化に起因する同定不能性により特異的となる状況下で、BICなどの情報基準は、多層パーセプトロンにおける真の隠れユニット数を一貫して推定可能か？
• RQ2 非正規モデル（例：有界パラメータを伴う過パラメータ化MLP）において、尤度比統計量が一様収束する条件は何か？
• RQ3 パラメータが非同定性により低次元部分多様体上にある場合でも、BICの古典的正当化は依然としてMLPに有効か？
• RQ4 最近の非正規モデルに対する漸近理論を、罰則付き尤度モデル選択の理論的基盤としてフィードフォワードニューラルネットワークに適応可能か？
• RQ5 パラメータ空間の有界化が、過学習したMLPにおける情報基準（例：BIC）の一貫性を回復可能か？

主な発見

• パラメータがコンact集合に有界な場合、BIC基準は単一隠れ層MLPにおける真の隠れユニット数の選択において一貫性を示す。
• フィッシャー情報行列が同定不能性により特異的であっても、有界パラメータ制約下では尤度比統計量が一様収束する。
• パラメータベクトルの識別可能部分によってインデックスされるスコア関数クラスはドンスカークラスを形成する。これは尤度比の弱収束および漸近正規性に不可欠である。
• スコア関数クラスを覆うために必要な最小の $\epsilon$-ブラケット数は $O(\epsilon^{-3k^0})$ のオーダーで増加し、ドンスカー性が裏付けられ、漸近理論の根拠が強化される。
• 再パラメータ化アプローチにより、識別可能および同定不能な成分が効果的に分離され、非正規モデルに高度な漸近的ツールを適用可能となる。
• 本研究は、MLPアーキテクチャ選択において広く観察されるBICおよび類似した罰則付き尤度基準の実験的成功に対する、初めての理論的正当化を提供する。