[論文レビュー] A Bayesian Data Augmentation Approach for Learning Deep Models

Toan Tran, Trung Pham+3 more|arXiv (Cornell University)|Oct 29, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 117

ひとこと要約

本論文は、データ生成器とディープモデルの分類器を同時に学習するベイズ的データ拡張フレームワーク（GMCEM）を提案し、MNIST、CIFAR-10、CIFAR-100 における標準的な PMDA および AC-GAN のベースラインより精度を向上させる。

ABSTRACT

Data augmentation is an essential part of the training process applied to deep learning models. The motivation is that a robust training process for deep learning models depends on large annotated datasets, which are expensive to be acquired, stored and processed. Therefore a reasonable alternative is to be able to automatically generate new annotated training samples using a process known as data augmentation. The dominant data augmentation approach in the field assumes that new training samples can be obtained via random geometric or appearance transformations applied to annotated training samples, but this is a strong assumption because it is unclear if this is a reliable generative model for producing new training samples. In this paper, we provide a novel Bayesian formulation to data augmentation, where new annotated training points are treated as missing variables and generated based on the distribution learned from the training set. For learning, we introduce a theoretically sound algorithm --- generalised Monte Carlo expectation maximisation, and demonstrate one possible implementation via an extension of the Generative Adversarial Network (GAN). Classification results on MNIST, CIFAR-10 and CIFAR-100 show the better performance of our proposed method compared to the current dominant data augmentation approach mentioned above --- the results also show that our approach produces better classification results than similar GAN models.

研究の動機と目的

• アノテーション済みデータが限られ高価な場合でも、堅牢な深層モデルの訓練を動機づける。
• 学習された分布から抽出された潜在変数として人工的なサンプルを扱うベイズ的データ拡張フレームワークを提案する。
• 訓練中にデータ拡張を行うため、GMCEM最適化の下で生成器と分類器を共同学習する。
• MNIST、CIFAR-10、CIFAR-100で標準的なデータ拡張およびAC-GANのベースラインより分類性能が向上することを実証する。

提案手法

• 訓練データから学習された分布から合成サンプルを引く潜在変数データ拡張を導入する（ z = (ta, xa) ）
• データを反復的に拡張し深層モデルのパラメータを更新する Generalized Monte Carlo EM（GMCEM）を開発する。
• GANベースの生成を、分類器 C、認証器 A、生成器 G からなるモジュール式アーキテクチャで拡張し、さまざまな識別・生成モデルとの柔軟な統合を可能にする。
• GMCEMフレームワーク内で SGD ベースの最適化を提供し、実際的な収束を保証する。
• 訓練損失をlCおよびlAを介してGMCEM目的に関連づけ、確率論的定式化（式12–19）へ結びつける。
• ResNet系のバリアントを用いてMNIST、CIFAR-10、CIFAR-100を評価し、PMDAおよびAC-GANのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 提案されたGMCEMベースのベイズ的データ拡張は、標準ベンチマークにおいて従来の PMDA より分類精度を改善するか。
• RQ2 ベイズ的データ拡張フレームワークは、AC-GANおよび他のGAN系変種と比較して深層分類器に有用な拡張を生み出すか。
• RQ3 生成器/分類器の組をGMCEM定式化の下で効果的に共同訓練して、学習中に拡張を適応させることができるか。
• RQ4 データ拡張データ量（M）を変化させた場合の、データセット間での性能への影響は何か。

主な発見

• ベイズ的DA法はMNIST、CIFAR-10、CIFAR-100のすべてでPMDAより分類精度を向上させる。
• この手法はベンチマークデータセットでResNetベースの分類器を使用した場合、AC-GANを上回る。
• 合成データ量（M）を増やすと一般的に精度が向上する。
• 本手法は現実的に見える合成数字や物体を生成し、実用的なデータ拡張の品質を示している。
• トレーニング時間の分析では、適切なアーキテクチャを用いたCIFAR-100とMNISTで、数時間の訓練後にベイズ的アプローチがPMDAを上回る。