[論文レビュー] Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption

Lihu Xu, Fang Yao+2 more|arXiv (Cornell University)|Jan 10, 2022

Advanced Statistical Methods and Models被引用数 7

ひとこと要約

本稿は、無限分散仮定の下で、ロバスト統計学的学習の非漸近的過剰リスクバインディングを提案する。$\beta \in (1,2)$ に対して $\beta$-次のモーメントしか持たないデータに対しても、最適収束速度を達成できるリッジおよびエラスティック・ネット・ログ・トリuncated M-推定法を導入する。主な貢献は、凸および非凸モデル（深層ニューラルネットワークを含む）において、理論的保証のもとで、重い尾を持つ非サブガウス型設定へのロバスト推定の拡張である。

ABSTRACT

There has been a surge of interest in developing robust estimators for models with heavy-tailed and bounded variance data in statistics and machine learning, while few works impose unbounded variance. This paper proposes two type of robust estimators, the ridge log-truncated M-estimator and the elastic net log-truncated M-estimator. The first estimator is applied to convex regressions such as quantile regression and generalized linear models, while the other one is applied to high dimensional non-convex learning problems such as regressions via deep neural networks. Simulations and real data analysis demonstrate the {robustness} of log-truncated estimations over standard estimations.

研究の動機と目的

• 無限分散仮定の下で、特に $\beta \in (1,2)$ に対して $\beta$-次のモーメントしか持たないデータにおいて、ロバスト統計学的学習手法の不足を解消すること。
• 凸および高次元非凸学習問題に適用可能な、新たなロバスト推定法（リッジ・ログ・トリuncated M-推定法およびエラスティック・ネット・ログ・トリuncated M-推定法）を開発すること。
• 有界損失、有界リプシッツ、またはサブガウス型仮定を避け、最小限のモーメント条件の下で、これらの推定法の非漸近的過剰リスクバインディングを確立すること。
• ボストン住宅データや MNIST などのデータセットを用いたシミュレーションおよび実データ解析を通じて、提案手法のロバスト性を示すこと。
• 重い尾を持つノイズ下で、深層ニューラルネットワーク、混合回帰、非負値行列分解などの非凸モデルへの理論的枠組みの拡張を図ること。

提案手法

• $\beta \in (1,2)$ の $\beta$-安定分布に適した、一般化されたログ・トリンケーション関数 $\lambda(x) = \frac{1}{\beta}|x|^\beta$ を、ロバスト M-推定に導入する。
• サブ・ワイブル尾に適応した、新たな濃度不等式フレームワークを用いて、弱いモーメント条件の下で非漸近的解析を可能にする過剰リスクバインディングを導出する。
• リッジ・ログ・トリuncated M-推定法を、分位数回帰や一般化線形モデル（GLM）といった凸モデルに適用し、ロジスティック回帰およびネガティブ・バイノミアル回帰を含む。
• 高次元非凸問題（$p \gg n$）におけるスパarsityと安定性を促進するために、ログ・トリuncated M-推定法のエラスティック・ネット版を導入する。
• 提案されたロバスト枠組みの下で、勾配上昇法（SGD）を用いて深層ニューラルネットワーク回帰を訓練し、収束に対する理論的支援を提供する。
• シミュレーションおよび実世界のデータ（ボストン住宅、MNIST など）を用いた検証により、標準推定法よりも優れたロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 データがサブガウス型または有界モーメントではなく、$\beta \in (1,2)$ の $\beta$-次のモーメントしか持たない場合に、ロバスト M-推定法が非漸近的過剰リスクバインディングを達成できるか。
• RQ2 ログ・トリンケーションフレームワークを、深層ニューラルネットワークや混合モデルなどの高次元非凸学習問題にどのように拡張できるか。
• RQ3 無限分散仮定下でのロバスト推定法の最適収束速度は何か。また、リッジやエラスティック・ネットのような正則化によって達成可能か。
• RQ4 提案された枠組みを、重い尾を持つノイズ下での2成分混合線形回帰や非負値行列分解といった非凸モデルに適用可能か。
• RQ5 テイル・インデックス $\beta$ の選択が予測性能に与える影響は何か。実務におけるモデル選択にどのような含意を持つか。

主な発見

• リッジ・ログ・トリuncated M-推定法は、$\beta \in (1,2)$ の $\beta$-次のモーメント仮定の下で、$O\left(\left(\frac{(2d+1)\log(nr_n)}{n}\right)^{\frac{\beta-1}{\beta}}\right)$ のオーダーの過剰リスクバインディングを達成する。これは、LAD回帰に関する先行研究を拡張するものである。
• 一般化線形モデルでは、ロジスティック回帰およびネガティブ・バイノミアル回帰に適用可能な一般化された過剰リスクバインディングが得られ、収束速度は $\beta$ と次元に依存する。
• エラスティック・ネット・ログ・トリuncated M-推定法は、$p \gg n$ の高次元設定において、スパarsityと $\beta$-モーメント条件の下で、同様の非漸近的過剰リスクバインディングを達成する。
• ボストン住宅および MNIST データセットにおける実験的結果から、提案されたロバスト DNN 回帰モデルが、重い尾を持つノイズ下で予測の安定性において標準推定法を上回ることが示された。
• 理論的解析により、2成分混合線形回帰や非負値行列分解といった非凸モデルに対しても、$\beta$-モーメント条件の下で過剰リスクバインディングが導出可能であることが確認された。
• モデル誤指定および汚染に対して本フレームワークはロバストであり、第二モーメントが存在しない場合でも理論的保証が得られる。これは、富やネットワーク分布のような現実世界の重い尾を持つデータに適している。