[論文レビュー] Two-sample Testing Using Deep Learning

Matthias Kirchler, Shahryar Khorasani+2 more|arXiv (Cornell University)|Oct 14, 2019

Music and Audio Processing参考文献 33被引用数 7

ひとこと要約

この論文は、事前学習されたニューラルネットワークの表現を活用することで、統計的パワーを向上させる深層学習ベースの2標本検定を提案する。入力データを隠れ層にマッピングし、漸近的場所検定を適用することで、MMD や C2ST などの最先端手法と比較して、タイプ2エラーが最大35パーセンテージポイントまで低減される。同時に、適切なタイプ1エラー制御を維持し、線形時間計算が可能である。

ABSTRACT

We propose a two-sample testing procedure based on learned deep neural network representations. To this end, we define two test statistics that perform an asymptotic location test on data samples mapped onto a hidden layer. The tests are consistent and asymptotically control the type-1 error rate. Their test statistics can be evaluated in linear time (in the sample size). Suitable data representations are obtained in a data-driven way, by solving a supervised or unsupervised transfer-learning task on an auxiliary (potentially distinct) data set. If no auxiliary data is available, we split the data into two chunks: one for learning representations and one for computing the test statistic. In experiments on audio samples, natural images and three-dimensional neuroimaging data our tests yield significant decreases in type-2 error rate (up to 35 percentage points) compared to state-of-the-art two-sample tests such as kernel-methods and classifier two-sample tests.

研究の動機と目的

• 画像、音声、神経画像データなどの複雑で構造的なデータを扱う際、従来の2標本検定の限界を克服すること。
• 補助データまたはデータ分割から学習された深層ニューラルネットワークの表現を活用することで、統計的パワーを向上させること。
• やや厳しい仮定のもとで、漸近的タイプ1エラー制御を維持するとともに、一貫性（タイプ2エラーが消える）を達成する検定を開発すること。
• リサンプリングやカーネル選択の感度に依存せずに、テスト統計量の線形時間評価を可能とすること。
• 高次元および複雑なデータ設定において、カーネル法や分類器ベースの検定に対するロバストでデータ駆動型の代替手法を提供すること。

提案手法

• 補助データセットで事前学習された深層ニューラルネットワーク、またはデータ分割によって得られる表現を用いて、入力サンプルからの表現を抽出する。
• 2つのテスト統計量を提案：一つは最大平均差（MMD）に基づき、もう一つはフィッシャーの判別分析に基づくもので、両者とも隠れ層の表現に適用される。
• 帰無仮説の下で、これらの統計量は漸近的に正規分布に従うため、標準正規分布近似を用いてp値を計算可能である。
• このアプローチにより、サンプルサイズに比例して効率的にスケーリングする線形時間でのテスト統計量評価が可能である。
• 転移学習を用いることで、補助データがテストデータと異なる場合でも、ロバストで汎用性の高い表現が得られる。
• 補助データが利用できない場合には、データを2つの部分に分割：一方を表現学習用、もう一方をテスト統計量計算用に使用する。

実験結果

リサーチクエスチョン

• RQ1 画像、音声、3次元神経画像データなどの複雑なデータにおいて、深層ニューラルネットワークの表現が2標本検定のパワーを向上させられるか？
• RQ2 深層学習ベースの2標本検定は、一貫性を達成しながら適切なタイプ1エラー制御を維持できるか？
• RQ3 MMD や分類器ベースの2標本検定といった最先端手法と比較して、タイプ2エラー低減の観点で本手法はどのように差をつけるか？
• RQ4 統計的ロバスト性を維持しつつ、線形時間計算を達成できるか？
• RQ5 ハイパーパrameter、転移学習の選択、近似学習の感度に対して、本手法はどれほど感度を示すか？

主な発見

• 提案手法の深層2標本検定は、音声、画像、神経画像データにおいて、最先端手法と比較してタイプ2エラーを最大35パーセンテージポイントまで低減した。
• 本手法は漸近的にタイプ1エラー率を制御しており、帰無仮説の下で妥当な統計的推論が保証される。
• 本検定は一貫性を有しており、サンプルサイズが増加するにつれてタイプ2エラー率が0に収束する。
• テスト統計量は線形時間で計算可能であり、大規模データセットへのスケーラビリティを実現している。
• 3次元MRIスキャンや顔の表情データを含む多様なデータモダリティにおいて、カーネルベースのMMDや分類器ベースの2標本検定を上回る性能を示した。
• 転移学習や近似学習に対するロバスト性が実証され、事前学習モデルを用いた実用的導入を支援する。