[論文レビュー] Robust adaptive efficient estimation for semi-Markov nonparametric regression models

Vlad Ștefan Barbu, Slim Beltaief+1 more|arXiv (Cornell University)|Apr 15, 2016

Statistical Methods and Inference参考文献 29被引用数 6

ひとこと要約

本稿は、連続時間における半マルコフノイズを伴う非パラメトリック回帰モデルに対して、ロバストで適応的な推定手順を提案する。ノイズに一般なモーメント条件が成り立つ場合、鋭い非漸近的オラクル不等式を確立し、ロバスト効率性を証明する。これにより、半マルコフモデルにおける最小最大収束速度が、ノイズの自己回帰構造に応じて、古典的レートよりも速くなることもあれば遅くなることも示される。

ABSTRACT

We consider the nonparametric robust estimation problem for regression models in continuous time with semi-Markov noises. An adaptive model selection procedure is proposed. Under general moment conditions on the noise distribution a sharp non-asymptotic oracle inequality for the robust risks is obtained and the robust efficiency is shown. It turns out that for semi-Markov models the robust minimax convergence rate may be faster or slower than the classical one.

研究の動機と目的

• 連続時間回帰モデルにおける非パラメトリック推定を、半マルコフ構造によって長-range依存を示すノイズ過程を有する場合に解決すること。
• ノイズ分布の一般的モーメント条件のもとで、ガウス性や軽尾性の仮定をせずとも効率性を保つロバストな推定手順を開発すること。
• ロバストリスクに対する非漸近的オラクル不等式を確立し、広範なノイズ分布クラスにわたる最適な性能を保証すること。
• 半マルコフノイズの最小最大収束速度が、ノイズの依存特性に応じて古典的レートと異なる可能性があることを示すこと。
• 未知のノイズパラメータに適応し、元の分布の事前知識なしにロバスト効率性を達成するモデル選択手順を提供すること。

提案手法

• 著者たちは、観測過程を $ dy_t = S(t)\rd t + d\tilde{\theta}_t $ とモデル化し、$ \tilde{\theta}_t $ を記憶を持つLévy過程と純ジャンプ成分の組み合わせである半マルコフ過程とする。
• ロバストリスクを $ \rQ(\tilde{S}_n, S) = \bE_{Q,S} \norm{\tilde{S}_n - S}^2 $ と定義し、$ L^2[0,1] $ における推定誤差を測定し、ノイズの分布族 $ \fQ_n $ を考察する。
• 未知のノイズ特性に適応するため、データ駆動的なスムージングパラメータの選択を用いたペナルティ付き経験リスクの最小化に基づくモデル選択手順を提案する。
• 解析は、最小限のモーメント仮定のもとで、モデルクラス全体に一様に成り立つ鋭い非漸近的オラクル不等式に依拠する。
• 証明技法にはフーリエ逆変換の収束を示すために、フーリエ逆変換の点灯収束を保証するための、振動積分の収束とディリクレ核の性質を用いる。
• 著者たちは、半マルコフ過程の構造を活用し、マルコフ過程やオルンシュタイン＝ウーレンベック過程とは異なり、任意に長い観測区間でも依存性を維持できることを示す。

実験結果

リサーチクエスチョン

• RQ1 一般モーメント条件のもとで、半マルコフノイズを伴う非パラメトリック回帰モデルに対して、非漸近的かつロバストな推定手順を開発可能か？
• RQ2 半マルコフノイズの最小最大収束速度は、非パラメトリック回帰における古典的レートとどのように異なるか？
• RQ3 ノイズ過程の依存構造が、連続時間モデルにおける推定効率にどの程度影響を与えるか？
• RQ4 未知のノイズパラメータに適応し、パラメトリックなノイズ分布の仮定なしに最適な性能を達成するモデル選択手順を構築可能か？
• RQ5 半マルコフ性がノイズにおける長記憶効果をどのように維持するか、そしてこれが推定量の収束速度にどのように影響を与えるか？

主な発見

• ロバストリスクに対する鋭い非漸近的オラクル不等式が確立され、モデルクラス全体に一様に成り立つ有限サンプルバウンドが得られ、推定誤差を制御する。
• 提案された適応的モデル選択手順はロバスト効率性を達成し、ノイズ分布が未知で重尾である場合でも、推定量が最適な収束速度に達することが保証される。
• 半マルコフモデルの最小最大収束速度は、ノイズ分布の自己回帰構造とモーメントに応じて、古典的レートよりも速くなることもあれば遅くなることもある。
• ロバストリスクが、モデルクラス内での最良のスムージングパラメータ選択に対応する理想リスクの定数倍で一様に有界であることが示された。
• 逆フーリエ変換の収束は、リーマン＝ルベーグの補題と振動積分の性質を用いて証明され、推定量が真の信号に点灯収束することを保証する。
• 本手法は最小限の仮定のもとで有効である：ノイズの1次の絶対モーメントの存在のみが要求され、重尾および非ガウス的ノイズに強くロバストである。