[論文レビュー] Diffusion-based Deep Active Learning

Dan Kushnir, Luca Venturi|arXiv (Cornell University)|Mar 23, 2020

Machine Learning and Algorithms参考文献 33被引用数 8

ひとこと要約

本論文は、深層ニューラルネットワークの表現から構築されたグラフ上でラベルを拡散することで、探索から精錬へ動的に移行する拡散ベースのアクティブラーニング基準を提案する。MNIST、CIFAR10、SVHNの全データセットにおいて、特に初期探索段階および遷移段階で、従来手法を上回る精度と安定性を達成している。これは、データの内在的幾何構造を捉え、再訓練を伴わずに高速かつスケーラブルなバッチクエリを可能にする能力に起因する。

ABSTRACT

The remarkable performance of deep neural networks depends on the availability of massive labeled data. To alleviate the load of data annotation, active deep learning aims to select a minimal set of training points to be labelled which yields maximal model accuracy. Most existing approaches implement either an `exploration'-type selection criterion, which aims at exploring the joint distribution of data and labels, or a `refinement'-type criterion which aims at localizing the detected decision boundaries. We propose a versatile and efficient criterion that automatically switches from exploration to refinement when the distribution has been sufficiently mapped. Our criterion relies on a process of diffusing the existing label information over a graph constructed from the hidden representation of the data set as provided by the neural network. This graph representation captures the intrinsic geometry of the approximated labeling function. The diffusion-based criterion is shown to be advantageous as it outperforms existing criteria for deep active learning.

研究の動機と目的

• 深層学習における高コストなアノテーションを軽減するため、ラベル付きデータの必要量を最小限に抑えるアクティブラーニングによって、その課題に取り組む。
• 探索や精錬に特化した従来のアクティブラーニング手法が、最適でない性能にとどまることを克服する。
• データ分布の探索から意思決定境界の精錬へ自然に移行する、単一で適応可能な基準を開発する。
• 各ステップでのモデル再訓練を必要とせず、高速かつスケーラブルなバッチクエリを可能にする。
• 異なるランダム初期化やノイズのある環境下でも、モデル性能のロバストネスを高め、ばらつきを低減する。

提案手法

• 深層ニューラルネットワークの隠れ層表現からk近傍法グラフを構築し、データの内在的幾何構造を捉える。
• スパース行列-ベクトル乗算を用いて、グラフ構造を介して既知のラベルを反復的に伝搬することで、グラフ上でのラベル拡散を実行する。
• 最終的な拡散ラベルスコアをクエリ基準として用い、最も情報量の多いサンプルを選別する。
• バッチサイズBのサンプルを、拡散された不確実性または信頼度に基づいてソートすることで、効率的で多様性のあるバッチ取得を実現する。
• ラベル拡散が線形時間で実行可能であり、数回の反復で十分であるという事実を活用し、大規模データセットに適したスケーラブルな手法を実現する。
• モデル再訓練を必要とせず、標準的な深層アクティブラーニングパイプラインに拡散ベースのクエリ戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 分離最適化や切り替え機構を必要とせず、単一のアクティブラーニング基準が、深層学習における探索と精錬のバランスを効果的にとれるか？
• RQ2 深層表現から構築したグラフ上でのラベル拡散は、不確実性基準や幾何的基準と比較して、精度と安定性においてどのように優れているか？
• RQ3 グラフ表現が、ラベル関数の内在的幾何構造を捉えることで、性能向上にどの程度寄与するか？
• RQ4 拡散ベース手法は、特にバッチクエリの場面において、最小限の計算負荷で優れた性能を達成できるか？
• RQ5 本手法は、異なるデータセットやネットワークアーキテクチャにおいて、特に初期段階の探索と後期段階の精錬において、どの程度の性能を示すか？

主な発見

• MNIST、CIFAR10、SVHNの全データセットにおいて、初期探索段階および遷移段階で、不確実性基準、マージン基準、コアセット手法を著しく上回る性能を示した。
• 全結合ネットワークを用いたMNISTでは、本手法が初期ラベル付与段階において、すべてのベースラインを上回る高い精度を達成した。
• 事前学習済みVGG-16を用いたCIFAR10およびSVHNでは、本手法が精錬段階を通じて一貫して優れた精度を維持し、ベイジアンドロップアウトや不確実性基準を上回った。
• 複数回のランダム実行において、本手法が最小のばらつきを示し、初期化やノイズのある環境下でも高いロバストネスを示した。
• グラフ表現によりデータがノイズ除去され、環境空間の幾何構造に依存する手法と比較して、外れ値への感受性が低く、一般化性能が向上した。
• ラベル拡散プロセスにより、線形時間計算量で高速かつスケーラブルなバッチ選択が可能となり、各クエリステップでのモデル再訓練の必要がなくなった。