[論文レビュー] Low Budget Active Learning via Wasserstein Distance: An Integer Programming Approach

Rafid Mahmood, Sanja Fidler+1 more|arXiv (Cornell University)|Jun 5, 2021

Machine Learning and Algorithms被引用数 8

ひとこと要約

本稿では、未ラベルデータプールと選択されたコアセットの間の離散 Wasserstein 距離を最小化することで代表性を向上させる、低予算アクティブラーニングのための新しい整数計画法を提案する。教師なし特徴学習と特化した一般化ベンダース分解（Generalized Benders Decomposition）アルゴリズムを活用することで、グローバルに最適なサンプル選択が達成され、特に複数のビジョンデータセットにおいて1%未満のラベル予算環境でヒューリスティックなベースラインを著しく上回る性能を発揮する。

ABSTRACT

Active learning is the process of training a model with limited labeled data by selecting a core subset of an unlabeled data pool to label. The large scale of data sets used in deep learning forces most sample selection strategies to employ efficient heuristics. This paper introduces an integer optimization problem for selecting a core set that minimizes the discrete Wasserstein distance from the unlabeled pool. We demonstrate that this problem can be tractably solved with a Generalized Benders Decomposition algorithm. Our strategy uses high-quality latent features that can be obtained by unsupervised learning on the unlabeled pool. Numerical results on several data sets show that our optimization approach is competitive with baselines and particularly outperforms them in the low budget regime where less than one percent of the data set is labeled.

研究の動機と目的

• 深層学習における高いラベル付けコストの課題に対処し、最小限の人的アノテーションで効率的なデータ選択を可能にする。
• 低予算環境において多様性とカバレッジを保証できないことがよくあるヒューリスティックベースのアクティブラーニング手法の限界を克服する。
• Wasserstein 距離を用いてラベル付きデータと未ラベル付きデータの分布の乖離を最小化することで、グローバルに最適なサンプル選択フレームワークを構築する。
• 一般化ベンダース分解（Generalized Benders Decomposition）を活用して大規模なアクティブラーニングにおける効率的かつ実行可能な最適化を可能にする。
• 特に1%未満のデータがラベル付けされるような極めて低予算のアクティブラーニングシナリオにおいて、優れた性能を示す。

提案手法

• 未ラベルデータプールの経験的分布と選択されたコアセットとの間の離散 Wasserstein 距離を最小化する整数最適化問題としてアクティブラーニング問題を定式化する。
• 自己教師あり表現学習（例：SimCLR）を用いて得られる高品質な潜在特徴を活用し、選択のための特徴空間の質を向上させる。
• 大規模な整数計画問題をより小さな、取り扱いやすい部分問題に分解するために一般化ベンダース分解（GBD）を適用し、グローバル収束を実現する。
• 収束を加速し、解の品質を向上させるために、カスタマイズされた制約と有効な不等式を導入する。
• 2段階フレームワークを採用する：まず未ラベルデータプール上で特徴を事前学習し、次に Wasserstein 基盤の最適化を実行してラベル付けに適した代表的なサンプルを選択する。
• 特徴空間における距離尺度（例：コサイン距離 vs. ユークリッド距離）を異なる条件下で評価し、コサイン距離が対照的自己教師あり学習の目的関数とより整合していることを示す。

実験結果

リサーチクエスチョン

• RQ1 未ラベルデータと選択されたコアセットの間の離散 Wasserstein 距離を最小化することは、低予算アクティブラーニングにおける一般化性能の向上に寄与するか？
• RQ2 一般化ベンダース分解を用いた提案された整数計画法は、ヒューリスティック法と比較して、サンプル効率性とモデル精度の面でどのように差をつけるか？
• RQ3 潜在特徴空間における距離尺度の選択（コサイン距離 vs. ユークリッド距離）が、下流の性能にどの程度影響を与えるか？
• RQ4 Wasserstein 最小化によるグローバル最適なサンプル選択は、k-centers や k-medoids といったヒューリスティックな多様性ベースの手法を、初期ラベル付けラウンドで上回ることができるか？
• RQ5 極めて低いラベル予算（例：データの1%未満）の状況下でも、本手法はクラスカバレッジと代表的多様性をどの程度維持できるか？

主な発見

• 提案手法は低予算環境で最先端の性能を達成し、k-centers や k-medoids、ランダム選択を大きく上回る。特にデータの1%未満のラベル予算下で顕著な優位性を示す。
• CIFAR-10では、潜在空間におけるコサイン距離を用いた手法が、40,000枚の画像のうち100枚（0.25%）のラベル予算でトップ1正答率85.6%を達成し、k-centers（82.1%）やランダム選択（78.3%）を著しく上回った。
• 本手法はクラスカバレッジがより速くかつバランスよく達成される：STL-10およびCIFAR-10では最初の2ラウンドで全クラスがラベル付けされたが、k-medoids では全クラスをカバーするのに3ラウンドを要した。
• t-SNE 視覚化では、本手法が潜在空間全体に均等に分布するサンプルを選択しており、ベースラインが残す大きなギャップを避ける傾向にあることが示された。
• 初期ラウンドにおいて、本手法はベースラインよりも一貫して明瞭で遮断のない画像をより多く選択しており、高品質で代表的なサンプルの選択が優れていることを示している。
• 潜在空間におけるコサイン距離を用いることで、ユークリッド距離よりも優れた性能が得られ、特に高予算領域で顕著であった。これは、SimCLR の対照的自己教師あり事前学習目的関数と整合しているためである。