[論文レビュー] GALAXY: Graph-based Active Learning at the Extreme

Jifan Zhang, Julian Katz-Samuels+1 more|arXiv (Cornell University)|Feb 3, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

GALAXY は、不確実性スコアの二分探索によるソートとラベル多様性を考慮することで、不確実ではあるがクラスバランスが取れたサンプルを適応的に選択するグラフベースのアクティブラーニング手法である。極端なクラス不均衡の問題に対処し、最先端の手法と比較して最大30%のラベルクエリ削減を達成しながら、不均衡なビジョンベンチマークで顕著に高いバランス精度を実現する。

ABSTRACT

Active learning is a label-efficient approach to train highly effective models while interactively selecting only small subsets of unlabelled data for labelling and training. In "open world" settings, the classes of interest can make up a small fraction of the overall dataset -- most of the data may be viewed as an out-of-distribution or irrelevant class. This leads to extreme class-imbalance, and our theory and methods focus on this core issue. We propose a new strategy for active learning called GALAXY (Graph-based Active Learning At the eXtrEme), which blends ideas from graph-based active learning and deep learning. GALAXY automatically and adaptively selects more class-balanced examples for labeling than most other methods for active learning. Our theory shows that GALAXY performs a refined form of uncertainty sampling that gathers a much more class-balanced dataset than vanilla uncertainty sampling. Experimentally, we demonstrate GALAXY's superiority over existing state-of-art deep active learning algorithms in unbalanced vision classification settings generated from popular datasets.

研究の動機と目的

• 少数クラスが希少であるがゆえに標準的手法が多数クラスに偏る、極端なクラス不均衡の問題に取り組むこと。
• クラス分布の事前知識がなくても、ラベル選択段階でクラスバランスを維持できるスケーラブルで効率的なアクティブラーニングアルゴリズムを開発すること。
• 全体のデータセットが著しく歪んでも、選択された例が不確実であり、かつ多様なクラスを代表していることを保証すること。
• GALAXY が標準的な不確実性サンプリングよりも優れたクラスバランスを達成することを理論的に裏付けること。

提案手法

• GALAXY は、未ラベル付きのサンプルをソフトマックスの不確実性スコアでソートし、ラベルが異なる連続ペアを同定する二分探索手順を適用することで、ラベル多様性を促進する。
• 深層特徴からグラフを構築し、モデルの予測結果をもとに不確実ではあるがクラス多様性のあるサンプルを選択する。
• 各モデル再トレーニング後にグラフを動的に再構築することで、更新された予測結果に適応し、時間経過とともに選択品質を向上させる。
• 不確実性サンプリングとグラフベースの多様性を統合し、複数クラスにまたがるクラス境界付近の不確実な点に焦点を当てる。
• 不確実性とラベル多様性の両方をバランスさせるバッチ選択戦略を採用し、同じクラスからの重複クエリを回避する。
• 標準的な不確実性サンプリングパイプラインへの修正が最小限で済むため、実装およびデプロイが容易である。

実験結果

リサーチクエスチョン

• RQ1 データセットに少数クラスと多数クラスの比が1:99のように極端なクラス不均衡が存在する場合、アクティブラーニング手法は情報量の多いサンプルを効果的に選択できるか？
• RQ2 ディープアクティブラーニングにおいて、標準的な不確実性サンプリングと比較して、グラフベースのアプローチは選択バッチのクラスバランスを改善するか？
• RQ3 GALAXY は、BADGE や BAIT、SIMILAR といった既存のハイブリッド不確実性・多様性手法と比較して、不均衡下でのラベル効率と精度において優れているか？
• RQ4 GALAXY における動的グラフ構築は、静的グラフ手法（例：S²）と比較して、選択品質をどの程度向上させるか？
• RQ5 GALAXY は、さまざまなデータセットや異なるバッチサイズにおいても、必要なラベル数の削減を伴いながら高い性能を維持できるか？

主な発見

• GALAXY は、2番目に優れた手法と比較して最大30%のラベルクエリ削減を達成し、不均衡な SVHN（2クラス）および CIFAR-100（3クラス）で同じバランス精度を達成した。
• 2クラスの不均衡な SVHN では、GALAXY は1,700回のクエリで92%のバランス精度に到達したが、2番目に優れた手法では2,500回のクエリが必要だった。
• 3クラスの不均衡な CIFAR-100 では、GALAXY は1,600回のクエリで66%のバランス精度を達成し、2番目に優れた手法が2,200回のクエリを必要とした。
• GALAXY は、不確実性サンプリングや Most Likely Positive といった、確実性を優先するベースライン手法と比較して、有意に多くのインプロビディングラベルを収集した。
• S² と比較しても、1-NN およびニューラルネットワークモデルの両方で GALAXY が優れた性能を示し、更新されたモデル予測に基づく動的グラフ構築の重要性を裏付けた。
• 実験の結果、GALAXY は、10クラスの CIFAR-100 で大規模な予算設定（バッチサイズ1,000）を含む全8つの設定で優れた性能を維持した。