[論文レビュー] A Statistical Learning Approach to Modal Regression

Yunlong Feng, Jun Fan+1 more|arXiv (Cornell University)|Feb 20, 2017

Advanced Adaptive Filtering Techniques参考文献 53被引用数 16

ひとこと要約

本稿は、経験的リスク最小化（ERM）を用いた統計的学習枠組みにおいて非パラメトリックなモード回帰を定式化し、帯域幅がゼロに近づく最大相関関数基準がモード回帰に収束することを示している。弱い条件下でも関数推定の一貫性と収束性を確立し、モード推定によるロバスト回帰の理論的裏付けと計算上の実行可能性を兼ね備えた手法を提供する。

ABSTRACT

This paper studies the nonparametric modal regression problem systematically from a statistical learning view. Originally motivated by pursuing a theoretical understanding of the maximum correntropy criterion based regression (MCCR), our study reveals that MCCR with a tending-to-zero scale parameter is essentially modal regression. We show that nonparametric modal regression problem can be approached via the classical empirical risk minimization. Some efforts are then made to develop a framework for analyzing and implementing modal regression. For instance, the modal regression function is described, the modal regression risk is defined explicitly and its extit{Bayes} rule is characterized; for the sake of computational tractability, the surrogate modal regression risk, which is termed as the generalization risk in our study, is introduced. On the theoretical side, the excess modal regression risk, the excess generalization risk, the function estimation error, and the relations among the above three quantities are studied rigorously. It turns out that under mild conditions, function estimation consistency and convergence may be pursued in modal regression as in vanilla regression protocols, such as mean regression, median regression, and quantile regression. However, it outperforms these regression models in terms of robustness as shown in our study from a re-descending M-estimation view. This coincides with and in return explains the merits of MCCR on robustness. On the practical side, the implementation issues of modal regression including the computational algorithm and the tuning parameters selection are discussed. Numerical assessments on modal regression are also conducted to verify our findings empirically.

研究の動機と目的

• 非パラメトリックなモード回帰のための厳密な統計的学習理論を構築すること。これは、文献においてあまり検討されていない分野である。
• モード回帰が経験的リスク最小化問題として定式化可能であることを示し、理論的解析とアルゴリズム実装を可能にする。
• 平均、中央値、分位数回帰と同様に、モード回帰推定量の一般化誤差境界と一貫性結果を確立すること。
• 最大相関関数基準（MCCR）とモード回帰の理論的関係を明確にすること、特にカーネル帯域幅がゼロに近づくときの関係に注目する。
• チューニングパラメータの選択と計算アルゴリズムを含む実用的な実装フレームワークを提供し、合成データおよび実世界のデータで検証すること。

提案手法

• 入力変数の下での応答変数の条件付きモードに基づくモード回帰リスクを定義することで、モード回帰を経験的リスク最小化（ERM）問題に再定式化する。
• 計算上の実行可能性を保証するため、真のモード回帰リスクを近似する「一般化リスク」の代理を導入する。
• カーネル密度推定（KDE）を用いて条件付き密度を推定し、そのモードを特定することで、条件付きモード関数の非パラメトリック推定を可能にする。
• 再生核ヒルバート空間（RKHS）上での経験的リスク最小化の原則を適用し、モード回帰関数を学習する。
• 過剰なモード回帰リスク、過剰な一般化リスク、関数推定誤差に関する理論的境界を導出し、弱い正則性条件のもとでの一貫性を確立する。
• 交差検証を用いた帯域幅選択を含む、カーネルリッジ回帰に基づく計算アルゴリズムを提案し、交通監視から得られた速度-流量データで検証した。

実験結果

リサーチクエスチョン

• RQ1 モード回帰は、統計的学習理論における経験的リスク最小化枠組みに体系的に定式化可能か？
• RQ2 カーネル帯域幅がゼロに近づくとき、最大相関関数基準（MCCR）とモード回帰の理論的関係は何か？
• RQ3 どのような条件下で、モード回帰推定量はL²(X)-ノルムにおいて関数推定の一貫性と収束性を達成するか？
• RQ4 提案された一般化リスクフレームワークは、外れ値や重さの大きい裾のノイズに対してどのようにロバスト性を確保するか？
• RQ5 モード回帰における実用的実装の課題は何か？また、チューニングパラメータはどのように効果的に選択できるか？

主な発見

• モード回帰は、経験的リスク最小化問題として厳密に定式化可能であり、非パラメトリックなモード推定のための統計的学習理論フレームワークを提供する。
• 帯域幅パラメータがゼロに近づく最大相関関数基準は、モード回帰問題に収束する。これは、重い尾を持つノイズや非対称なノイズに対して高いロバスト性を示す理由を説明する。
• 弱い正則性条件のもとで、モード回帰推定量はL²(X)-ノルムにおいて関数推定の一貫性と収束性を達成する。これは、平均回帰や中央値回帰と同様の性質である。
• 提案された一般化リスクフレームワークにより、推定量は一般化の一貫性とキャリブレーション性を満たし、過剰リスクに関する理論的境界が得られる。
• 合成データおよび実際の交通速度-流量データに対する数値実験では、モード回帰推定量が外れ値に対して敏感ではなく、平均回帰よりも元のトレンドをよりよく捉えていることが示された。
• 本手法は次元に依存せず、高次元設定においても適用可能である。これは、ERM定式化が入力次元に依存しないためである。