[論文レビュー] Dropout as data augmentation

Xavier Bouthillier, Kishore Konda+2 more|arXiv (Cornell University)|Jun 29, 2015

Machine Learning and Data Classification参考文献 25被引用数 97

ひとこと要約

この論文は、ドロップアウトによって生じるノイズを入力空間に逆投影することで、ドロップアウトをデータ拡張の一種として解釈する手法を提案する。このノイズを逆投影して得られた合成トレーニングサンプルを用いて決定論的ネットワークを訓練することで、標準的なドロップアウトと同等の性能が達成され、新たなランダムノイズレベルスキームにより計算コストを増すことなく一般化性能が向上する。

ABSTRACT

Dropout is typically interpreted as bagging a large number of models sharing parameters. We show that using dropout in a network can also be interpreted as a kind of data augmentation in the input space without domain knowledge. We present an approach to projecting the dropout noise within a network back into the input space, thereby generating augmented versions of the training data, and we show that training a deterministic network on the augmented samples yields similar results. Finally, we propose a new dropout noise scheme based on our observations and show that it improves dropout results without adding significant computational cost.

研究の動機と目的

• ドロップアウトを正則化の手段として見るのではなく、入力空間における暗黙のデータ拡張として再解釈すること。
• ドロップアウトのノイズを入力空間に逆投影することで、合成トレーニングデータを生成する手法を開発すること。
• これらの合成サンプルで訓練された決定論的ネットワークが、標準ドロップアウトと同等の性能を示すことを実証すること。
• ノイズレベルをランダムに選択する新しいドロップアウトノイズスキームを提案・評価し、データ拡張の多様性を高めること。
• ドロップアウトの利点が、共適応の防止に起因するのではなく、暗黙のデータカバレッジ拡張に起因するかどうかを調査すること。

提案手法

• 隠れ層からのドロップアウトノイズを、再構成誤差を最小化するための確率的勾配降下法を用いて入力空間に逆投影する。
• すべての層における元の活性化とノイズあり活性化の差を最小化する多層損失関数を定式化する。
• 逆投影された入力を、決定論的ネットワークの拡張トレーニングデータとして使用する。
• 入力層および隠れ層のノイズレベルを範囲内で一様分布からランダムにサンプリングするランダムノイズレベルスキームを導入し、多様性を向上させる。
• 拡張データで決定論的ネットワークを訓練し、MNISTおよびCIFAR-10での性能を評価する。
• 標準ドロップアウトおよび他のノイズスキーム（固定および変動ノイズレベル）と比較する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化の変換を用いずに、ドロップアウトを入力空間におけるデータ拡張の意味的に意味のある解釈として行えるか？
• RQ2 ドロップアウトノイズを逆投影することで生成された合成トレーニングサンプルが、標準ドロップアウトと同等の性能を達成できるか？
• RQ3 ドロップアウトにランダムノイズレベルを導入することで、固定ノイズレベルと比較して一般化性能が向上するか？
• RQ4 新しいノイズスキームによる性能向上は、データの多様性の向上によるものか、あるいは正則化の向上によるものか？
• RQ5 逆投影法は、より深いネットワークにおいてもドロップアウトの一般化利点を保持できるか？

主な発見

• ドロップアウトノイズを入力空間に逆投影することで、データ分布の拡張に効果的な合成トレーニングサンプルが生成される。
• これらの逆投影されたサンプルで訓練された決定論的ネットワークは、MNISTおよびCIFAR-10において標準ドロップアウトと同等のテスト精度を達成する。
• ノイズレベルを一様分布からランダムにサンプリングする本手法の新しいノイズレベルスキームは、複数のアーキテクチャで分類性能を向上させる。
• MNISTの並べ替え不変分類タスクにおいても性能が向上し、競争力のある結果を達成する。
• ランダムノイズレベルによる改善は、固定ノイズ分布へのモデル適応を防ぐために、拡張されたサンプルの多様性の向上に起因する。
• 結果から、ドロップアウトの一般化利点は、共適応の防止に加え、暗黙のデータ拡張に起因する部分も存在することが示唆される。