[論文レビュー] Weak transport inequalities and applications to exponential inequalities and oracle inequalities

Olivier Wintenberger|arXiv (Cornell University)|Jul 20, 2012

Markov Chains and Monte Carlo Methods参考文献 38被引用数 5

ひとこと要約

本稿では、ユークリッドノルムに基づく弱い輸送不等式を導入し、従属する時系列設定において次元に依存しない集中不等式および高速収束レートを確立する。マートンの枠組みを拡張し、軌道カップリングを用いることで、古典的な収縮仮定が成立しない場合でも、$n^{-1}$ の高速収束率を達成する新しい指数型およびオラクル不等式を導出する。応用例として、弱い定常性の下での通常最小二乗推定に適用可能である。

ABSTRACT

We extend the dimension free Talagrand inequalities for convex distance \cite{talagrand:1995} using an extension of Marton's weak transport \cite{marton:1996a} to other metrics than the Hamming distance. We study the dual form of these weak transport inequalities for the euclidian norm and prove that it implies sub-gaussianity and convex Poincaré inequality \cite{bobkov:gotze:1999a}. We obtain new weak transport inequalities for non products measures extending the results of Samson in \cite{samson:2000}. Many examples are provided to show that the euclidian norm is an appropriate metric for classical time series. Our approach, based on trajectories coupling, is more efficient to obtain dimension free concentration than existing contractive assumptions \cite{djellout:guillin:wu:2004,marton:2004}. Expressing the concentration properties of the ordinary least square estimator as a conditional weak transport problem, we derive new oracle inequalities with fast rates of convergence in dependent settings.

研究の動機と目的

• 製品測度やハミング距離を越えて、弱い輸送不等式を用いた次元に依存しない集中不等式を拡張すること。
• 非 i.i.d. 状況における収縮仮定やスペクトルギャップ条件の制限を克服すること。
• 弱い定常性の下で、オラクル不等式の $n^{-1}$ の高速収束レートを導出すること。
• 弱い輸送不等式と正規分布的性質、または凸ポワンカーレ不等式との関係を確立すること。
• 標準的な混合条件や収縮条件を満たさない古典的時系列モデルに適用可能な枠組みを提供すること。

提案手法

• ユークリッドノルムを距離 $d$ として用いる新しい弱い輸送不等式クラス $\tilde{T}_{p,d}(C)$ を提案し、マートンの元々の定式化を一般化する。
• 双対性を適用し、ユークリッド弱い輸送不等式が正規分布的尾部および凸ポワンカーレ不等式を意味することを示す。
• 軌道カップリング技術を用いて、収縮性やスペクトルギャップ仮定に依存せずに次元に依存しない集中を導出する。
• シオンのミニマックス定理を用いて、弱い輸送不等式と特定の指数モーメントの有界性との同値性を確立する。
• 通常最小二乗推定量を条件付き弱い輸送問題として定式化することで、この枠組みを適用する。
• $\tilde{\Gamma}$-弱い定常性の下で、バーチャル・バリアント型条件を用いて分散項を制御し、$n^{-1}$ の高速収束率を持つ新しいオラクル不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 ユークリッドノルムに基づく弱い輸送不等式は、非 i.i.d. 状況においても次元に依存しない集中をもたらすか？
• RQ2 提案された枠組みは、従属する時系列におけるオラクル不等式で $n^{-1}$ の高速収束レートを達成できるか？
• RQ3 分散の制御と余剰リスク推定の観点から、ユークリッド距離はハミング距離に比べてどのように優れているか？
• RQ4 弱い輸送不等式を用いることで、マルコフ時系列における収縮性やスペクトルギャップ条件の必要性を回避できるか？
• RQ5 $\tilde{\Gamma}$-弱い定常性条件は、新しい輸送枠組みにおいて高速レートを可能にする役割を果たすか？

主な発見

• ユークリッドノルムの弱い輸送不等式の双対形は、正規分布的性質および凸ポワンカーレ不等式を意味する。
• 提案された弱い輸送不等式 $\tilde{T}_{2,d}(C)$ は、製品測度でない分布に対しても次元に依存しない集中を実現し、サムソンの結果を拡張する。
• 弱い定常性 $\tilde{\Gamma}$ の下で、収縮仮定が成立しなくても、$n^{-1}$ の高速収束率を持つ新しいオラクル不等式が導出される。
• 余剰リスク $Q[\overline{R}(\hat{\theta})]$ が集中不等式に現れ、ツィレルソン型不等式に比べてよりタイトな制御が可能になる。
• 分散項がランダムな再生サイクルによって摂動されても、i.i.d. 情報と同等の高速レートを達成する。
• 古典的な収縮カップリングやフーディング型不等式に比べ、より効率的であり、それらは $n^{-1/2}$ のレートしか得られない。