[論文レビュー] Minimax Estimation of Conditional Moment Models

Nishanth Dikkala, Greg Lewis+2 more|arXiv (Cornell University)|Jun 12, 2020

Statistical Methods and Inference参考文献 55被引用数 20

ひとこと要約

本稿は、仮説空間と検定関数空間の間で行われるゼロサムゲームとして定式化される、条件付きモーメントモデルのミニマックス推定フレームワークを導入する。このフレームワークは、これらの空間の臨界半径に比例する高速で局所的な推定レートを確立し、最小限の仮定のもとで、RKHS、スパース線形モデル、ランダムフォレスト、ニューラルネットワークなどの非パラメトリックモデルに対して最適レートを達成可能である。

ABSTRACT

We develop an approach for estimating models described via conditional moment restrictions, with a prototypical application being non-parametric instrumental variable regression. We introduce a min-max criterion function, under which the estimation problem can be thought of as solving a zero-sum game between a modeler who is optimizing over the hypothesis space of the target model and an adversary who identifies violating moments over a test function space. We analyze the statistical estimation rate of the resulting estimator for arbitrary hypothesis spaces, with respect to an appropriate analogue of the mean squared error metric, for ill-posed inverse problems. We show that when the minimax criterion is regularized with a second moment penalty on the test function and the test function space is sufficiently rich, then the estimation rate scales with the critical radius of the hypothesis and test function spaces, a quantity which typically gives tight fast rates. Our main result follows from a novel localized Rademacher analysis of statistical learning problems defined via minimax objectives. We provide applications of our main results for several hypothesis spaces used in practice such as: reproducing kernel Hilbert spaces, high dimensional sparse linear functions, spaces defined via shape constraints, ensemble estimators such as random forests, and neural networks. For each of these applications we provide computationally efficient optimization methods for solving the corresponding minimax problem (e.g. stochastic first-order heuristics for neural networks). In several applications, we show how our modified mean squared error rate, combined with conditions that bound the ill-posedness of the inverse problem, lead to mean squared error rates. We conclude with an extensive experimental analysis of the proposed methods.

研究の動機と目的

• 条件付きモーメント制約によって定義される非パラメトリックモデルのための統計的学習理論の類似枠組みを構築すること。従来のGMMの限界を克服することを目的とする。
• ニューラルネットワークやランダムフォレストなどの現代の機械学習の仮説クラスを用いて、高次元および非パラメトリックな設定でも推定を可能にすること。
• 仮説空間および検定関数空間の内蔵複雑性に適応する、高速で有限標本における推定レートを導出すること。
• 実用的なミニマックス問題を解くための計算的に効率的な最適化手法を提供すること。
• 推定誤差を関数クラスの臨界半径に関連づけ、情報理論的に最適なレートを達成すること。

提案手法

• 推定をミニマックス最適化として定式化：仮説空間 H について最小化し、検定関数空間 F について最大化することで、最も深刻な違反モーメントを同定する。
• 基準関数 Ψ(h,f) = E[(y−h(x))f(z)] を導入し、h₀ = arg inf_h sup_f Ψ(h,f) を解く。これはゼロサムゲームとして扱われる。
• 安定性と有限標本制御を確保するため、検定関数 f に2次モーメントペナルティを導入する。
• ミニマックス目的に特化した局所的ラデマッハ複雑度解析を用いて、高速レートを導出する。
• RKHSに基づくモデルにおけるスケーラブルな計算のため、カーネル近似（ニストロム法）を用いる。
• 道具の強さおよびカーネル作用素の固有構造に関する仮定を用いて、逆問題の悪条件性を制限することで推定レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 条件付きモーメント制約によって定義される非パラメトリックモデルのための統計的学習理論フレームワークを、M-推定量に類似した形で構築できるか？
• RQ2 モーメント制約のもとで、ニューラルネットワークやランダムフォレストのような複雑な仮説クラスに対して、高速で有限標本における推定レートを達成できるか？
• RQ3 仮説空間および検定関数空間の臨界半径が、推定誤差レートに果たす役割は何か？
• RQ4 正則化と敵対的検定は、悪条件な逆問題におけるロバストネスと適応性を向上させるか？
• RQ5 投影平均二乗誤差レートが、実際の平均二乗誤差のレートを示すには、どのような条件下が必要か？

主な発見

• 提案されたミニマックス推定量は、仮説空間および検定関数空間の臨界半径に比例する投影平均二乗誤差レートを達成し、高速かつ最適なレートを実現する。
• 検定関数空間が豊富で、2次モーメントペナルティで正則化されている場合、真の仮説ノルムに関する事前知識がなくても、モデルの内蔵複雑性に適応する推定レートが得られる。
• 再生核ヒルバート空間（RKHS）では、カーネルの固有値減衰と道具の強さに依存する推定レートが得られ、弱い仮定のもとで明示的な境界が導出される。
• 高次元スパース線形モデルでは、スパarsityと制限固有値条件のもとで高速レートが達成され、1次最適化による計算効率が保証される。
• ニューラルネットワークおよびランダムフォレストでは、確率的1次勾配ヒューリスティクスを用いた効率的なトレーニングが可能であり、推定誤差に関する理論的保証が得られる。
• 道具の強さおよび固有構造（例：τₘ および γₘ の境界）が十分に満たされている場合、投影RMSEレートは実際のRMSEレートを示すものとなり、理論的性能と実用的推定を結びつける。