[論文レビュー] Robust Estimation and Generative Adversarial Nets

Chao Gao, Jiyi Liu+2 more|arXiv (Cornell University)|Oct 4, 2018

Advanced Statistical Methods and Models参考文献 55被引用数 24

ひとこと要約

本稿は、f-GANとHuberのε-コントレージョンモデルにおけるロバストな深さベース推定器との間の理論的関係を確立し、半空間深さのような深さ関数が全変動距離の変分下界として見なせることが示されている。特定のアーキテクチャを備えたGAN風のニューラルネットワーク識別器を活用することで、モーメントが存在しない場合でさえも、ガウス分布および楕円分布下で最小最大最適レートを達成する計算的に効率的な推定器が開発された。

ABSTRACT

Robust estimation under Huber's $ε$-contamination model has become an important topic in statistics and theoretical computer science. Statistically optimal procedures such as Tukey's median and other estimators based on depth functions are impractical because of their computational intractability. In this paper, we establish an intriguing connection between $f$-GANs and various depth functions through the lens of $f$-Learning. Similar to the derivation of $f$-GANs, we show that these depth functions that lead to statistically optimal robust estimators can all be viewed as variational lower bounds of the total variation distance in the framework of $f$-Learning. This connection opens the door of computing robust estimators using tools developed for training GANs. In particular, we show in both theory and experiments that some appropriate structures of discriminator networks with hidden layers in GANs lead to statistically optimal robust location estimators for both Gaussian distribution and general elliptical distributions where first moment may not exist.

研究の動機と目的

• f-GANと深さベース推定器を結びつけることで、ロバスト統計と深層生成モデリングを統合すること。
• Huberのε-コントレージョンモデル下で、計算的に実行可能なロケーション推定アルゴリズムを開発すること。
• 高次元および重たい尾を持つ状況下で、ロバストな平均推定の最小最大最適レートを達成すること。
• 一次モーメントが存在しない可能性がある楕円分布へと統計的最適性を拡張すること。
• GANに特有の深層ニューラルネットワーク構造が、最適な深さベース推定器を近似できることを示すこと。

提案手法

• f-Learningを用いて、半空間深さのような深さ関数を全変動距離の変分下界として定式化する。
• ReLUおよびシグモイド活性化関数を備えたGAN風の識別器ネットワークを構築し、深さベース推定器を近似する。
• 二段階の訓練プロセスを採用：まずニューラルネットワーク識別器を用いて位置母数を推定し、その後イテレーティブフィルタリングまたは次元半減法で改善する。
• 隠れ層とスキップ接続を備えた識別器を設計し、メジアンからの符号付き距離をモデル化することで、トゥーキーのメジアンの近似を可能にする。
• L層でかつ重みが有界なネットワークアーキテクチャが、一般化誤差の境界O(√(p log p / n))を達成することを証明する。
• 最小最大レート解析を適用し、推定器がガウス分布および楕円分布下で最適レートp/n ∨ ε²を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 f-GANを用いて、トゥーキーのメジアンのような統計的に最適なロバスト推定器を計算できるか？
• RQ2 GANにおける特定の深層ニューラルネットワークアーキテクチャが、最小最大最適なロバスト推定器をもたらす深さ関数を近似できるか？
• RQ3 提案手法が、ε-コントレージョン下でロバストな平均推定に対して最小最大レートp/n ∨ ε²を達成できるか？
• RQ4 f-Learningとデータ深さ関数の関係は、ガウス分布を越えて、重たい尾を持つ楕円分布に対しても有効か？
• RQ5 深さベース推定器の計算的非実行可能性は、深層学習ベースの変分近似によって克服できるか？

主な発見

• 本稿は、f-Learningフレームワーク下で、半空間深さのような深さ関数が全変動距離の変分下界と等価であることを確立した。
• ReLUおよびシグモイド活性化関数を備えた特定のGAN識別器アーキテクチャが、トゥーキーのメジアンを近似し、最小最大最適推定レートを達成できることを示した。
• 提案手法は、Huberのε-コントレージョンモデル下でロバストな平均推定に対して最小最大レートp/n ∨ ε²を達成しており、理論的下界と一致する。
• 一次モーメントが存在しない楕円分布に対しても、深さベースの目的関数の使用により推定器は最適性を保つ。
• 理論的解析により、ニューラルネットワークベースの推定器の一般化誤差が、高確率でO(√(p log p / n))の境界で抑えられることを示した。
• 実験的結果は、高次元および重たい尾を持つ状況下で、標準的なモーメントベースのロバスト推定器を上回ることを確認した。