[論文レビュー] Fast and Feasible Estimation of Generalized Linear Models with High-Dimensional k-way Fixed Effects

Amrei Stammann|arXiv (Cornell University)|Jul 6, 2017

Control Systems and IdentificationEngineering被引用数 20

ひとこと要約

本稿では、ニュートン・ラプソン法と交互射影を組み合わせた枠組みに、重み付きフリッシュ＝ウォーファー・ロヴェル定理を統合することで、高次元のk方向固定効果を有する一般化線形モデル（GLMs）を高速かつメモリ効率よく推定するアルゴリズムを提示する。この手法により、繰り返し固定効果を集中させることで、ロジット、 probit、ポアソン回帰モデルにおける複雑な固定効果構造の推定が可能となり、ダミー変数法と比較してほぼ同一の精度を達成するとともに、著しい高速化が実現される。

ABSTRACT

We present a fast and memory efficient algorithm for the estimation of generalized linear models with an additive separable k-way error component. The brute force approach uses dummy variables to account for the unobserved heterogeneity, but quickly faces computational limits. Thus, we show how a weighted version of the Frisch-Waugh-Lovell theorem combined with the method of alternating projections can be incorporated into a Newton-Raphson algorithm to dramatically reduce the computational costs. The algorithm is especially useful in situations, where generalized linear models with k-way fixed effects based on dummy variables are computationally demanding or even infeasible due to time or memory limitations. In a simulation study and an empirical application we demonstrate the performance of our algorithm.

研究の動機と目的

• 標準的なダミー変数法では計算が非現実的となる、高次元のk方向固定効果を有する一般化線形モデルの推定における計算上の困難を解決すること。
• 従来線形モデルに限られていた効率的な固定効果推定を、一般化線形モデルの枠組みへと拡張すること。
• ロジット、 probit、ポアソン回帰モデルにおいて、高い数値的精度を維持しつつ、メモリと計算時間を効率化するアルゴリズムの開発。
• 労働経済学や貿易計量経済学などで見られる大規模パネルデータセットにおいて、複雑な固定効果モデルの実用的推定を可能にすること。
• 高次元設定におけるブルートフォースなダミー変数推定の代替として、強固でスケーラブルな代替手法を提供すること。

提案手法

• ニュートン・ラプソン反復の各ステップにおいて、重み付きフリッシュ＝ウォーファー・ロヴェル定理を統合し、線形予測子から固定効果を射影して除去する。
• 計算負荷を軽減するために、各固定効果次元について繰り返しデータをデメーンニングする交互射影法を採用する。
• 直接推定を行わないように、各反復で疑似デメーンニングステップを適用し、固定効果を明示的に推定することなく集中させる。
• 速度と精度のバランスを調整可能な許容誤差を備えたネウマン＝ハルペリン射影を用いる。
• 最適化終了後に後から固定効果の推定値を回復するため、大規模な設計行列の直接逆行列計算を回避する。
• 本手法は、線形モデルの推定を担当するlfeが既に提供するのに対し、非線形GLMsに特化したRパッケージalpacaとして実装されている。

実験結果

リサーチクエスチョン

• RQ1 高次元のk方向固定効果を有する一般化線形モデルに対して、計算的に効率的なアルゴリズムを開発することは可能か？
• RQ2 ダミー変数法と比較して、反復的射影法による固定効果の推定精度はどの程度か？
• RQ3 大規模パネルデータセットにおいて、提案手法が計算時間とメモリ使用量をどの程度削減できるか？
• RQ4 多様なモデル仕様とデータサイズに対して、本手法は数値的安定性と収束性を維持できるか？
• RQ5 本手法は、ロジット、 probit、ポアソンなど、さまざまなGLM族に一般化可能か？

主な発見

• アルゴリズムはほぼ完全な数値的精度を達成しており、テストされたすべてのN-T組み合わせにおいて、5桁および8桁精度で正確性頻度が1.00（100％）を記録している。
• 16桁精度では一部のケースで正確性が0.00に低下するが、これは浮動小数点演算の本質的限界によるものであり、アルゴリズムの失敗を示すものではない。
• N=200、T=50の条件でも、alpacaアルゴリズムの計算時間は1.5秒未満で推定可能であるのに対し、ダミー変数法では140秒以上を要する。
• alpacaの平均計算時間はサンプルサイズに対して劣線形に増加するが、ダミー変数法は二次関数的以上に増加する。
• ロジット、 probit、ポアソンを含む、テストされたすべてのGLM族において、高い精度が維持され、複数のデータ構成において一貫した性能を示している。
• 本アルゴリズムにより、従来のダミー変数法では非現実的であった大規模データセット（例：N=200、T=50）における三方向固定効果PPMLモデルの推定が可能になった。