[論文レビュー] Semiparametric panel data models using neural networks

Andrew Crane‐Droesch|arXiv (Cornell University)|Feb 21, 2017

Statistical Methods and Inference参考文献 9被引用数 6

ひとこと要約

本稿では、非線形関係を推定するためのフィードフォワードニューラルネットワークを用いながら、時間トレンドと固定効果の不偏推定を維持する半パラメトリックパネルデータモデルを提案する。この手法は、OLS、LASSO、ランダムフォレストよりも優れた性能を示し、複雑な気象-収量関係を近似的に名目水準の信頼区間カバレッジを達成する形でモデル化することで、県レベルのトウモロコシ収量予測において低いMSEと優れた外挿性能を達成した。

ABSTRACT

This paper presents an estimator for semiparametric models that uses a feed-forward neural network to fit the nonparametric component. Unlike many methodologies from the machine learning literature, this approach is suitable for longitudinal/panel data. It provides unbiased estimation of the parametric component of the model, with associated confidence intervals that have near-nominal coverage rates. Simulations demonstrate (1) efficiency, (2) that parametric estimates are unbiased, and (3) coverage properties of estimated intervals. An application section demonstrates the method by predicting county-level corn yield using daily weather data from the period 1981-2015, along with parametric time trends representing technological change. The method is shown to out-perform linear methods such as OLS and ridge/lasso, as well as random forest. The procedures described in this paper are implemented in the R package panelNNET.

研究の動機と目的

• 非パラメトリック部にニューラルネットワークを組み合わせ、パラメトリック係数の不偏推定を実現する半パラメトリックパネルデータ推定量の開発。
• 固定効果と非線形性を伴う縦断的データを扱う既存の機械学習手法の限界を解消すること。
• 繰り返し観察される断片的データ単位と高次元の共変量を伴う状況において、正確な予測と処置効果推定を可能にすること。
• 非線形パネルモデルにおけるパラメトリック部の信頼区間が名目水準に近いカバレッジを達成すること。
• 気象データと土壌データを用いた実世界の収量予測において、本手法の優位性を実証すること。

提案手法

• モデルは、方程式 𝑦𝑖𝑡 = 𝛼𝑖 + 𝑋𝑖𝑡𝛽 + f(𝑍𝑖𝑡) + 𝜀𝑖𝑡 における非パラメトリック関数 f(𝑍𝑖𝑡) をフィードフォワードニューラルネットワークで推定する。
• ニューラルネットワークのアーキテクチャは、ReLU活性化関数を備えた複数層から構成され、入力変数 𝑍𝑖𝑡 を学習された重みを通じて非線形特徴に変換する。
• 個体固定効果 𝛼𝑖 を除去するために、within変換が適用され、f() の非線形性にもかかわらず 𝛽 の不偏推定が保持される。
• バッチ勾配降下法にRMSprop最適化を用い、過学習を防ぐために重み減衰正則化を適用する。
• Rパッケージ panelNNET を用いて実装され、名目水準に近いカバレッジを持つ信頼区間の推定が可能である。
• 時間トレンド、土壌特性、地理座標などの変数が線形部に含められ、解釈可能性と外挿能力を確保する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの推定量は、非線形固定効果を伴うパネルデータモデルにおいて、パラメトリック係数の不偏推定を提供できるか？
• RQ2 本モデルにおけるパラメトリック係数の信頼区間は、名目水準に近いカバレッジ率を達成するか？
• RQ3 本半パラメトリックニューラルネットワークモデルは、OLS、LASSO、ランダムフォレストと比較して、県レベルのトウモロコシ収量予測でどの程度優れた性能を示すか？
• RQ4 本モデルは、高次元の気象および土壌データを効果的に処理しながら、学習期間を超えた外挿能力を維持できるか？
• RQ5 本モデルは、日次気象とトウモロコシ収量の間の複雑な非線形関係を、観察されない県固有の効果を考慮しながらどの程度適切に捉えることができるか？

主な発見

• パネルニューラルネットワークモデルは、2015年のトウモロコシ収量予測において、MSEが273に達し、ランダムフォレスト（MSE = 1197）やLASSO（MSE = 609）よりも顕著に低い値を記録した。
• モデルの予測はほぼ不偏であったが、北中央イリノイ地方でわずかな過小予測が観察された。
• ランダムフォレストは、学習期間を超えた外挿が不可能なため、2015年の予測で顕著なバイアスを示し、最近傍法に類似した挙動を示した。
• LASSOはわずかな上昇バイアスを示しており、おそらく線形時間トレンドへの過剰依存と、非線形気象効果の捉え損ないによるものと考えられる。
• 時間トレンドのパラメトリック推定は不偏であり、信頼区間は名目水準に近いカバレッジを示し、本手法の推論的性質の妥当性が裏付けられた。
• 時間的に不変な土壌および位置データが効果的に統合されており、線形モデルでは固定効果と完全に共線形であったが、非線形フレームワークでは有意義な寄与を果たした。