[論文レビュー] Significance Tests for Neural Networks

Enguerrand Horel, Kay Giesecke|arXiv (Cornell University)|Feb 16, 2019

Neural Networks and Applications被引用数 9

ひとこと要約

本稿では、単層フィードフォワードニューラルネットワークにおける特徴変数の計算的に効率的で勾配に基づく有意性検定を提案する。検定統計量は、部分微分から導かれるもので、漸近的にカイ二乗分布の混合に従う。この手法により、ネットワークの再適合を必要とせず、モデルフリーのグローバルな推論が可能となり、変数の順序付けや非線形相互作用の検定が可能となる。

ABSTRACT

We develop a pivotal test to assess the statistical significance of the feature variables in a single-layer feedforward neural network regression model. We propose a gradient-based test statistic and study its asymptotics using nonparametric techniques. Under technical conditions, the limiting distribution is given by a mixture of chi-square distributions. The tests enable one to discern the impact of individual variables on the prediction of a neural network. The test statistic can be used to rank variables according to their influence. Simulation results illustrate the computational efficiency and the performance of the test. An empirical application to house price valuation highlights the behavior of the test using actual data.

研究の動機と目的

• ニューラルネットワーク回帰モデルにおける個々の特徴の有意性を統計的に厳密に評価する手法を開発すること。
• 特にファイナンスやヘルスケアなど説明可能なAIが求められる分野において、ブラックボックスニューラルネットワークの解釈性の課題に対処すること。
• モデルの再適合を必要とせず、識別可能性の仮定をせず、グローバルな推論を可能にすること。
• 非線形・非パラメトリックモデルにおける従来の有意性検定の代替として、計算的に効率的な手法を提供すること。
• ネットワーク出力の導関数を用いて、高次および相互作用効果への有意性検定を拡張すること。

提案手法

• 検定統計量は、各入力特徴に関するニューラルネットワーク推定子の偏微分の二乗値の、データ駆動型の重み付き平均である。
• 非パラメトリックなシーブ推定と確率過程理論を用いて、サンプルサイズに伴いネットワーク幅が増加する条件下で、検定統計量の漸近的分布を導出する。
• 2次関数的デルタ法を適用し、検定統計量の極限分布をガウス過程の最大化の偏微分の二乗値の重み付き平均として導出する。
• ややきつい正則性条件のもとで、極限分布がカイ二乗分布の混合に従うことが示された。
• 検定統計量は、通常のバックプロパゲーションで生成される勾配から直接計算可能であり、再トレーニングを必要としない。
• 高次導関数への拡張により、変数間の非線形効果（例えば相互作用）の検定が可能となる。

実験結果

リサーチクエスチョン

• RQ1 単層フィードフォワードニューラルネットワークにおける個々の特徴の有意性を、計算的に効率的かつ統計的に妥当に評価できる検定を構築できるか？
• RQ2 非パラメトリックなニューラルネットワークモデルにおける特徴の有意性を評価する勾配に基づく検定統計量の漸近的分布は何か？
• RQ3 モデルの再適合を必要とせず、予測への影響の大きさに基づいて特徴を順序付けられるか？
• RQ4 この検定を、特徴間の非線形的相互作用の有意性を評価するために拡張できるか？
• RQ5 有限標本における検定の性能はいかにか？また、実世界のデータ上ではどのように振る舞うか？

主な発見

• 検定統計量の漸近的分布は、ややきつい正則性条件のもとでカイ二乗分布の混合に従い、有効なp値の計算が可能となる。
• 検定統計量は計算的に効率的であり、トレーニング中にすでに計算された勾配を活用するため、追加のモデル適合を必要としない。
• この手法は、ニューラルネットワークの非同定性に対してもロバストである。これは、パrameterレベルの解釈ではなく、関数レベルの影響に焦点を当てるからである。
• 検定はモデルフリーの推論を可能にする。大標本において、ユニバーサル近似性の性質により、真の母数回帰関数に対する有意性を検証できる。
• シミュレーションの結果、検定は有限標本でも計算効率が高く、正しいサイズを示しており、標本サイズや信号強度が大きくなるほど検出力が向上することが確認された。
• 米国住宅価格評価への実応用において、この検定は、住宅ローン金利や地域的ローン指標といった特徴を統計的有意性の観点から適切に順位付けできており、経済的直感と整合的であった。