[論文レビュー] Diverse mini-batch Active Learning

Fedor Zhdanov|arXiv (Cornell University)|Jan 17, 2019

Machine Learning and Algorithms参考文献 15被引用数 92

ひとこと要約

本論文は、重み付きK-meansクラスタリングを用いて多様性と情報性を組み合わせ、ラベリングのために多様で情報量の多い例を選択する、スケーラブルなミニバッチ活発学習法を提案する。

ABSTRACT

We study the problem of reducing the amount of labeled training data required to train supervised classification models. We approach it by leveraging Active Learning, through sequential selection of examples which benefit the model most. Selecting examples one by one is not practical for the amount of training examples required by the modern Deep Learning models. We consider the mini-batch Active Learning setting, where several examples are selected at once. We present an approach which takes into account both informativeness of the examples for the model, as well as the diversity of the examples in a mini-batch. By using the well studied K-means clustering algorithm, this approach scales better than the previously proposed approaches, and achieves comparable or better performance.

研究の動機と目的

• 監視付きモデルを訓練するために必要なラベル付きデータを削減する。
• 深層モデルの再訓練に伴う実用的な制約に対処するため、ミニバッチを選択する。
• バッチ選択に情報性と多様性の両方を組み込む。
• K-meansクラスタリングを活用したスケーラブルな解法を提供する。
• テキストおよび画像データセットで、さまざまなモデルを用いて有効性を示す。

提案手法

• 多様性を高めるために、バッチ選択をファシリティロケーション問題として定式化する。
• サブモジュラー法よりスケーラブルにするため、K-meansクラスタリングで近似する。
• 重み付きK-means目的関数でクラスタ中心を重み付けすることにより情報性スコアを組み込む。
• 情報性指標としてマージンベースの不確実性を用いる。
• 効率のため、クラスタリング前にラベルなし例をサブセットへ事前フィルタリングする。
• 各バッチでクラスタ中心に最も近いk個の例をラベリングに選択する。

実験結果

リサーチクエスチョン

• RQ1 不確実性のみを基準としたベースラインと比較して、ミニバッチ選択に多様性を情報性と統合することで学習効率が向上するか？
• RQ2 K-meansクラスタリングは、アクティブラーニングの多様性を考慮したバッチ選択のスケーラブルな近似を提供できるか？
• RQ3 提案手法は、異なるモデルアーキテクチャを用いたテキストおよび画像データセットでどう機能するか？
• RQ4 事前フィルタリングパラメータbetaが性能とスケーラビリティに与える影響は？
• RQ5 この設定で、マージンベースの不確実性はエントロピーベースや他の不確実性測度より効果的か？

主な発見

• 多様性を考慮したミニバッチ選択は、複数のデータセットで一般に不確実性サンプリングより優れている。
• クラスタリングベースの手法は、サブモジュラー最適化手法と比較してはるかに高速で、精度は同等またはそれ以上を達成する。
• 情報性スコアを活用した重み付きクラスタリングは、いくつかのデータセットで性能を向上させる。
• クラスタリングによる最初のバッチ選択は、いくつかのデータセットで初期精度を高める。
• CIFAR-10の結果は、多様性ベースの手法が単純な不確実性よりわずかに優れており、重み付きクラスタリングがしばしば最良であることを示す。
• 全体として、このアプローチはスケーラブルで、実装が比較的簡単なまま、より複雑な手法と競争力がある。