[論文レビュー] Kernel Conditional Moment Test via Maximum Moment Restriction

Krikamol Muandet, Wittawat Jitkrittum+1 more|arXiv (Cornell University)|Feb 21, 2020

Statistical Methods and Inference参考文献 62被引用数 6

ひとこと要約

本稿では、再現核ヒルバート空間（RKHS）表現である条件付きモーメント埋め込み（CMME）を用いた、条件付きモーメント制約（CMR）のための新しい仕様検定であるカーネル条件付きモーメント（KCM）検定を提案する。テスト統計量をRKHS単位球内の最大モーメント制約（MMR）として定義することにより、一貫性、閉形式の漸近的分布、および優れた有限標本性能を達成し、低標本および小偏差領域において、既存の検定（ICMやスムーズ検定）を凌駕する。

ABSTRACT

We propose a new family of specification tests called kernel conditional moment (KCM) tests. Our tests are built on a novel representation of conditional moment restrictions in a reproducing kernel Hilbert space (RKHS) called conditional moment embedding (CMME). After transforming the conditional moment restrictions into a continuum of unconditional counterparts, the test statistic is defined as the maximum moment restriction (MMR) within the unit ball of the RKHS. We show that the MMR not only fully characterizes the original conditional moment restrictions, leading to consistency in both hypothesis testing and parameter estimation, but also has an analytic expression that is easy to compute as well as closed-form asymptotic distributions. Our empirical studies show that the KCM test has a promising finite-sample performance compared to existing tests.

研究の動機と目的

• すべての固定代替仮説に対して一貫性を欠く既存の条件付きモーメント検定の限界、高次元性、および劣悪な有限標本性能を是正すること。
• ヒルバート空間埋め込みを通じて条件付きモーメント制約を完全に特徴付ける新しいタイプの仕様検定を開発し、一貫性と実用性を保証すること。
• 閉形式の表現と既知の漸近的分布を持つ計算効率の良いテスト統計量を提供し、計量経済学および因果推論の応用における簡単な実装を可能にすること。
• 機械学習分野のカーネル法と計量経済学分野の条件付きモーメント制約枠組みの間のギャップを埋め、統一的かつ理論的根拠に基づいたアプローチを提供すること。
• 実証的に、提案されたKCM検定が、特に低標本および小偏差状況において、ICMやスムーズ検定よりも高い統計的パワーを達成することを示すこと。

提案手法

• 再現核ヒルバート空間（RKHS）における条件付きモーメント埋め込み（CMME）を用いた、条件付きモーメント制約の新しい表現を提案し、それらを連続的な無条件モーメント制約の集合に変換する。
• テスト統計量をRKHS単位球上の最大モーメント制約（MMR）として定義し、これは埋め込まれた条件付きモーメント関数のRKHSノルムに相当する。
• MMRが元の条件付きモーメント制約を完全に特徴付けることを確立し、すべての固定代替仮説に対して検定の一貫性を保証する。
• MMRの閉形式の解析的表現を導出し、計算の効率化と、漸近的帰無仮説分布の導出を容易にする。
• 帰無仮説下で既知の漸近的性質を有する一貫性のある非パラメトリック仕様検定として、カーネル条件付きモーメント（KCM）検定を構築する。
• ホモスケダスティックおよびヘテロスケダスティックな線形モデルおよび同時方程式モデル（SIMEQ）にこのフレームワークを適用し、多様なデータ生成過程における性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 再現核ヒルバート空間（RKHS）におけるカーネルベースの手法が、条件付きモーメント制約のための一貫性があり、計算的に取り扱いやすい検定を提供できるか？
• RQ2 RKHS単位球内の最大モーメント制約（MMR）が、元の条件付きモーメント制約に含まれる情報を完全に捉え、すべての固定代替仮説に対して一貫性を保証できるか？
• RQ3 提案されたKCM検定の有限標本性能は、ICMやスムーズ検定といった既存手法と比較して、パワーおよび第1種の過誤制御の観点でどのように異なるか？
• RQ4 MMR統計量は閉形式で表現可能か？また、帰無仮説下で既知の漸近的分布を有するか？これにより、実用的な推論が可能になるか？
• RQ5 特に低標本および小偏差状況において、モデルの不適合状況下でのKCM検定の実証的挙動はいかなるものか？

主な発見

• KCM検定は、特に低標本領域（n ≤ 600）および帰無仮説からの小さなずれの下で、ICMやスムーズ検定よりも優れた有限標本パワーを示す。
• MMR統計量は帰無仮説下で閉形式の表現と既知の漸近的分布を有し、リサンプリングを用いずとも実用的な実装と有効な推論を可能にする。
• すべての実験において、5%水準での第1種の過誤制御が正しく維持されていることが、図3（付録C.2）の実証結果で確認された。
• ホモスケダスティックおよびヘテロスケダスティックな線形モデルの実験では、KCM検定はδ ≠ 0のモデル不適合を、ICMやスムーズ検定よりも高い感度で検出する。特にδが小さい場合に顕著である。
• 同時方程式モデル（SIMEQ）では、標本サイズが小さいか、帰無仮説からのずれが最小限のとき、KCM検定はICMやスムーズ検定よりも高いパワーを示す。
• MMRがRKHS埋め込みを通じて元の条件付きモーメント制約を完全に特徴付けることから、KCM検定はすべての固定代替仮説に対して一貫性を有する。