[論文レビュー] Marginalizing Corrupted Features

Laurens van der Maaten, Minmin Chen+2 more|arXiv (Cornell University)|Feb 27, 2014

Machine Learning and Data Classification参考文献 46被引用数 4

ひとこと要約

本稿では、腐敗分布の解析的マージン化により、無限個の腐敗版訓練データのアンサンブルで訓練することによってモデルの一般化性能を向上させる、新しい正則化手法であるMarginalized Corrupted Features (MCF)を提案する。この手法は、特にドロップアウトおよびポアソン腐敗の場合に、複数のデータセットで最先端のテスト精度を達成しており、二次損失および指数損失に対しては閉形式解を用いることで計算効率を維持している。ロジスティック損失については実用的な近似が用いられている。

ABSTRACT

The goal of machine learning is to develop predictors that generalize well to test data. Ideally, this is achieved by training on an almost infinitely large training data set that captures all variations in the data distribution. In practical learning settings, however, we do not have infinite data and our predictors may overfit. Overfitting may be combatted, for example, by adding a regularizer to the training objective or by defining a prior over the model parameters and performing Bayesian inference. In this paper, we propose a third, alternative approach to combat overfitting: we extend the training set with infinitely many artificial training examples that are obtained by corrupting the original training data. We show that this approach is practical and efficient for a range of predictors and corruption models. Our approach, called marginalized corrupted features (MCF), trains robust predictors by minimizing the expected value of the loss function under the corruption model. We show empirically on a variety of data sets that MCF classifiers can be trained efficiently, may generalize substantially better to test data, and are also more robust to feature deletion at test time.

研究の動機と目的

• 有限のデータセットで学習する機械学習モデルの過学習を緩和するため、データ腐敗に基づく新しい正則化戦略を導入すること。
• 明示的な腐敗訓練例の生成にかかる膨大なコストを回避する、計算効率の高い手法を開発すること。
• パrameterの事前分布や正則化子に依存せず、腐敗モデル下での期待損失を最小化することにより、頑健な一般化を実現すること。
• 連続的、カウント、スパースな特徴を含む多様なデータタイプに対して、ガウス、ポアソン、ドロップアウトの腐敗モデルを用いてMCFの有効性を示すこと。

提案手法

• ガウス、ポアソン、ドロップアウトノイズなどの固定で事前に定義された腐敗モデルを用いて、各訓練例を腐敗させることで拡張されたデータ分布を構築する。
• 腐敗データ分布上の期待損失を明示的なサンプリングを避けて解析的に計算する。
• 二次損失および指数損失に対しては、腐敗分布のモーメント生成関数を用いて閉形式解を導出する。
• ロジスティック損失に対しては変分上界と実用的な近似を用い、対数領域計算とシフト技術により数値安定性を確保する。
• 期待損失から導出された勾配を用いた最適化プロセスにより、標準的な最適化アルゴリズムを用いた効率的な学習が可能になる。
• 本フレームワークは多様な腐敗モデルをサポートしており、線形予測子に対しても適用可能で、訓練例の数に対して線形時間で計算が可能である。

実験結果

リサーチクエスチョン

• RQ1 明示的なデータ拡張なしに、無限個の腐敗訓練例で学習することで一般化性能が向上するか？
• RQ2 サンプリングを伴わずに腐敗分布上の期待損失を最小化することは計算的に可能か？
• RQ3 MCFは、標準的な正則化法やベイズ的手法と比較して、テスト精度および耐性面で優れているか？
• RQ4 ガウス、ポアソン、ドロップアウトなどの腐敗モデルの中で、異なるデータタイプに対して最も優れた性能を示すのはどれか？
• RQ5 MCFは、テスト時における特徴の削除に対して頑健性を向上させることができるか、特にドロップアウトに類似したノイズ下で？

主な発見

• MCFは、特にポアソンおよびドロップアウト腐敗の場合に、複数のデータセットで顕著なテスト精度の向上を達成し、標準的なベースラインを上回る。
• 伝統的な正則化法やベイズ推論と比較して、特にデータが少ない状況下で一般化性能が優れている。
• ロジスティック損失において、変分上界は安定的かつ効率的な学習目的関数を提供し、対数シフトと代替対数表現により数値安定性が確保されている。
• 二次損失および指数損失に対しては、閉形式解により訓練が訓練例数に比例する線形時間で実現可能である。
• MCF分類器は、テスト時における特徴の削除に対して高い耐性を示しており、入力の摂動に対して不変性が向上していることが示唆される。
• カウントベースのデータ（例：テキスト分類）では、ポアソン腐敗が一貫してテスト精度を向上させ、ハイパーパramータのチューニングを必要としない。