[論文レビュー] Bayesian Generative Active Deep Learning

Toan Tran, Thanh-Toan Do+2 more|arXiv (Cornell University)|Apr 26, 2019

Machine Learning and Algorithms被引用数 22

ひとこと要約

本稿では、アドバンスド・ジェネレーティブ・アクティブ・ラーニングフレームワークを提案し、アクティブラーニングと変分自己オートエンコーダー・コンdition付きGAN（VAE-ACGAN）を組み合わせることで、高情報量な合成トレーニングサンプルを生成する。BALD不確実性取得法により、情報量の多い未ラベルデータを選択し、それらを条件とした多様で高品質なサンプルを生成することで、標準的なアクティブラーニングやデータ拡張と比較して、顕著に少ないラベル付けコストと計算コストで優れた分類精度を達成する。

ABSTRACT

Deep learning models have demonstrated outstanding performance in several problems, but their training process tends to require immense amounts of computational and human resources for training and labeling, constraining the types of problems that can be tackled. Therefore, the design of effective training methods that require small labeled training sets is an important research direction that will allow a more effective use of resources.Among current approaches designed to address this issue, two are particularly interesting: data augmentation and active learning. Data augmentation achieves this goal by artificially generating new training points, while active learning relies on the selection of the "most informative" subset of unlabeled training samples to be labelled by an oracle. Although successful in practice, data augmentation can waste computational resources because it indiscriminately generates samples that are not guaranteed to be informative, and active learning selects a small subset of informative samples (from a large un-annotated set) that may be insufficient for the training process. In this paper, we propose a Bayesian generative active deep learning approach that combines active learning with data augmentation -- we provide theoretical and empirical evidence (MNIST, CIFAR-$\{10,100\}$, and SVHN) that our approach has more efficient training and better classification results than data augmentation and active learning.

研究の動機と目的

• 大規模なラベル付きデータセットへの依存を減らすことで、ディープラーニングの高い計算コストとラベル付けコストを低減すること。
• 無差別なデータ拡張の非効率性を克服し、情報量のないサンプルを生成することを防ぐこと。
• アクティブラーニングにおける過学習を軽減し、高品質な合成データで小さな情報量の集合を拡張すること。
• 不確実性に基づくサンプル選択と生成モデリングを統合した共同学習フレームワークを構築し、モデルの一般化性能を向上させること。
• 情報量の多い合成データを生成することで、標準的なデータ拡張や単独のアクティブラーニングよりも優れた性能を達成できることを示すこと。

提案手法

• 大規模な未ラベルデータプールから、不確実性と情報量が最も高いサンプルを、不確実性に基づくアドバンスド・アクティブラーニング（BALD）によって選択する。
• 選択された情報量の高いサンプルを条件として、VAE-ACGANモデルを訓練し、新たな合成トレーニングデータを生成する。
• 生成されたサンプルをラベル付きデータセットに統合して再トレーニングし、反復的な改善を実現する。
• 生成モデルと分類器を同時に学習する共同学習戦略を採用し、サンプルの関連性を向上させる。
• 相互情報量に基づく取得関数を用い、モデルの不確実性を最大限に低減するサンプルを優先順位付けする。
• MNIST、CIFAR-10/100、SVHNの複数のベンチマークで、ResNetアーキテクチャを用いて、妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングと生成モデリングを組み合わせることで、標準的なデータ拡張よりも情報量の多い合成データを生成できるか？
• RQ2 高い不確実性を持つ、アクティブに選択されたデータを条件としたサンプル生成は、収束速度と性能向上に寄与するか？
• RQ3 本手法は、標準的なデータ拡張を用いたアクティブラーニングと比較して、精度とサンプル効率の点で優れているか？
• RQ4 本手法は、完全なデータセットを用いた学習と同等の性能を達成できるか、かつラベル付きデータのわずかな割合でのみ学習可能か？
• RQ5 VAE-ACGAN生成器は、下流の分類性能を向上させる高品質で情報量の多いサンプルを効果的に生成できるか？

主な発見

• 提案手法（AL w. VAEACGAN）は、MNIST、CIFAR-10、CIFAR-100、SVHNの複数のモデルで、標準的なアクティブラーニングおよびデータ拡張を上回る性能を示した。
• ResNet18を用いたCIFAR-100では、AL w. ACGAN（p ≤ 0.05）および部分的トレーニングのBDAと比較して、統計的に有意な改善が得られた。
• 訓練データの1/10のみを用いても、完全データ学習のBDAと同等の精度に到達し、高いサンプル効率を示した。
• AL w. VAEACGANが生成したサンプルは、後期のトレーニング段階においても、AL w. ACGANの生成サンプルよりも平均情報価値（取得関数で測定）が高かった。
• AL w. VAEACGANは、BDA性能に到達するまでの収束がAL w. ACGGANよりも速く、より効果的なサンプル生成が可能であることを示した。
• BALDやBDAよりも計算コストは高かったが、ラベル付きサンプルの数を減らしてもより優れた性能を達成したため、そのトレードオフは正当化された。