[論文レビュー] Discriminative Active Learning

Daniel Gissin, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jul 15, 2019

Machine Learning and Algorithms参考文献 27被引用数 109

ひとこと要約

DALは、ラベル付きデータとラベルなしデータを識別不能にすることで、バッチ活性学習を二値分類タスクへ再定式化し、ニューラルネットワークの情報量の多いバッチを効率的に選択できるようにする。

ABSTRACT

We propose a new batch mode active learning algorithm designed for neural networks and large query batch sizes. The method, Discriminative Active Learning (DAL), poses active learning as a binary classification task, attempting to choose examples to label in such a way as to make the labeled set and the unlabeled pool indistinguishable. Experimenting on image classification tasks, we empirically show our method to be on par with state of the art methods in medium and large query batch sizes, while being simple to implement and also extend to other domains besides classification tasks. Our experiments also show that none of the state of the art methods of today are clearly better than uncertainty sampling when the batch size is relatively large, negating some of the reported results in the recent literature.

研究の動機と目的

• 深層学習におけるラベリングコストの削減を、情報量の多いラベル付きデータを選択することで動機づける。
• 学習済み表現に依存し、タスクに依存しないバッチモードのアクティブラーニング手法を提案する。
• ラベル付きとラベルなしの集合を識別不能にすることでバッチ選択が改善されることを示す。
• 画像分類タスクにおいて最先端手法と競争力があることを示す。
• 実用的考慮事項と、分類タスクを超える潜在的拡張を議論する。

提案手法

• 学習済み表現空間 Ψ(x) において、ラベル付きデータとラベルなしデータを区別する二値分類問題としてアクティブラーニングを定式化する。
• U ∪ L 上で、y ∈ {l, u} に対する P(y|Ψ(x)) を近似する二値分類器を訓練する。
• 後件確率 P(y=u|Ψ(x)) が最も高い上位K個のラベルなしサンプルを選択する。
• Ψをミニクエリ間で変更せず、速度と多様性のトレードオフをとるためにバッチ単位のミニクエリを用いる。
• 訓練サンプルに適合させるため、二値分類器として単純なMLP（3つの隠れ層、幅256）を選択する。
• 情報価値の高い不確実な例を特定するため、訓練を約98% 精度程度に制限することをオプションとする。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータの二値識別タスクとして問題を扱うことで、アクティブラーニングは効果的に実施できるか。
• RQ2 DALアプローチは、バッチサイズの変化に応じて不確実性ベースおよびコアセット手法とどう比較されるか。
• RQ3 学習済み表現 Ψ(x) を使用することは、元の入力空間を用いる場合よりもバッチ選択の性能を向上させるか。
• RQ4 DALは、学習済み表現を使用する他のドメインへ拡張できるか。
• RQ5 バッチクエリにおける速度と多様性のトレードオフに影響を与える実践的な考慮事項は何か。

主な発見

• DALは、MNISTおよびCIFAR-10に対して中～大規模バッチサイズで最先端手法に対抗できる精度を達成する。
• 不確実性ベースの手法は小さなバッチサイズで良好に機能するが、非常に大きなバッチサイズではすべての手法の性能が収束する。
• DALは不確実性手法やマージンベース手法とは異なる方法でラベルなしデータをランキング付けしており、独自の選択戦略を示唆している。
• Core-Setは非常に小さなバッチサイズでのみ良好な性能を示す。DALは小バッチ設定でCore-Setを上回ることが多い。
• DALを用いたバッチクエリは、ミニクエリを用いることで多様性を高めつつ、性能を犠牲にせずに実現できる。