[論文レビュー] Making Your First Choice: To Address Cold Start Problem in Vision Active Learning

Liangyu Chen, Yutong Bai+5 more|arXiv (Cornell University)|Oct 5, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

本稿は、視覚的アクティブラーニングにおけるコールドスタート問題に取り組み、ラベルの多様性を保証し、対比が難しい（典型的な）サンプルを選択する、対比学習に基づく初期クエリ戦略を提案する。K-meansクラスタリングからの疑似ラベルと、対比学習によるインスタンス識別を活用することで、初期段階でのパフォーマンスがランダム選択および既存のアクティブラーニング戦略を上回り、画像分類における初期データ選択の強力なベースラインを確立する。

ABSTRACT

Active learning promises to improve annotation efficiency by iteratively selecting the most important data to be annotated first. However, we uncover a striking contradiction to this promise: active learning fails to select data as efficiently as random selection at the first few choices. We identify this as the cold start problem in vision active learning, caused by a biased and outlier initial query. This paper seeks to address the cold start problem by exploiting the three advantages of contrastive learning: (1) no annotation is required; (2) label diversity is ensured by pseudo-labels to mitigate bias; (3) typical data is determined by contrastive features to reduce outliers. Experiments are conducted on CIFAR-10-LT and three medical imaging datasets (i.e. Colon Pathology, Abdominal CT, and Blood Cell Microscope). Our initial query not only significantly outperforms existing active querying strategies but also surpasses random selection by a large margin. We foresee our solution to the cold start problem as a simple yet strong baseline to choose the initial query for vision active learning. Code is available: https://github.com/c-liangyu/CSVAL

研究の動機と目的

• 視覚的アクティブラーニングにおけるコールドスタート問題を特定・解決すること。具体的には、初期のアクティブクエリがランダム選択に劣ること。
• 初期クエリ選択の質が低い原因を調査すること。特に、多数クラスに偏った選択バイアスと、外れ値検出に訓練されていないモデルに依存すること。
• アノテーションを一切必要としない実用的な手法を開発し、ラベルの多様性を確保するとともに、最初のクエリに典型的（対比が難しい）データを選択すること。
• 以降のアクティブラーニングサイクルを著しく改善する、シンプルだが効果的な初期クエリ選択のベースラインを確立すること。

提案手法

• アノテーションが一切不要な状態で、未ラベルデータに対して対比学習（MoCo v2）を用いてインスタンスレベルの表現を学習する。
• 対比特徴量に対してK-meansクラスタリングを適用し、疑似ラベルを生成することで、初期クエリにおけるラベルの多様性を確保する。
• サンプルとその増幅ビューとの区別が難しい（対比が難しい）サンプルを、典型的なデータとして特定する。これは外れ値の選択を低減する。
• 疑似ラベルの多様性と対比が難しい基準を組み合わせ、最初のアクティブラーニングラウンドにおけるハイブリッドクエリ選択指標を構築する。
• 仮説の妥当性を検証するために、後向き評価としてDataset Mapsを用いる。ラベルの多様性と典型性が初期クエリ品質を向上させることを裏付ける。
• 二段階戦略を採用する。第一段階では、特徴量をクラスタリングしてラベルの多様性を強制する。第二段階では、対比が難しい（対比が難しい）サンプルを高いスコアで選択し、典型的性を保証する。

実験結果

リサーチクエスチョン

• RQ1 視覚的アクティブラーニングにおけるコールドスタート問題の原因は何か。具体的には、最初のクエリでアクティブ選択がランダムサンプリングに劣ること。
• RQ2 初期クエリ段階で真のラベルが得られない状況下で、どのようにしてラベルの多様性を確保できるか。
• RQ3 事前学習済みモデルがなくても、対比学習を用いて典型的（外れ値でない）データを特定できるか。
• RQ4 ラベルの多様性と対比が難しいサンプルの両方を考慮したクエリ戦略が、初期段階のアクティブラーニングパフォーマンスを著しく向上させるか。
• RQ5 この手法は、多様な視覚データセットに一般化可能な初期クエリ選択の強力なベースラインとして機能できるか。

主な発見

• 提案手法「対比が難しいデータ選択」は、CIFAR-10-LTおよび3つの医用画像データセットにおいて、初期クエリ段階でランダム選択およびすべての既存のアクティブラーニング戦略（例：エントロピー、マージン、BALD、Coreset）を常に上回るパフォーマンスを発揮する。
• OrganAMNIST、BloodMNIST、PathMNISTでは、すべてのアクティブラーニングサイクルで高いAUCスコアを達成し、初期クエリのAUCと最終パフォーマンスとの間に強い正の相関（r = 0.92）が確認された。
• 提案手法を用いる場合、20枚のラベル付き画像におけるAUCと50枚のラベル付き画像におけるAUCのピアソン相関係数も高く維持されている（r = 0.92）。これは、初期クエリが下流のパフォーマンスを強く予測できることを示している。
• 事前学習済みMoCo v2モデルを用いても、初期段階と最終段階のパフォーマンスの相関係数が高く維持されている（r = 0.92）。これは、モデル初期化に依存せず、ロバストであることを確認している。
• 選択バイアスが低減されている。標準的なアクティブラーニング戦略とは異なり、本手法は少数クラスのサンプルを初期クエリに効果的に含み、選択データにおけるクラス分布がバランスされている。
• 本手法は自然画像および医用画像データセットの両方で有効であり、特定のドメインに限定されない一般化性能を示している。