[論文レビュー] Weakly Supervised Active Learning with Cluster Annotation

Fábio Perez, Rémi Lebret+1 more|arXiv (Cornell University)|Dec 31, 2018

Machine Learning and Algorithms参考文献 10被引用数 4

ひとこと要約

本論文は、個々のサンプルではなく類似画像のクラスタ全体を専門家がラベル付けできる弱教師付きアクティブラーニングフレームワークを提案する。不確実性サンプリングとクラスタラベリングを組み合わせることで、CIFAR-10では人間の関与を82%、EuroSATでは87%削減しながらも、完全教師あり学習と同等のテスト精度を達成する。

ABSTRACT

In this work, we introduce a novel framework that employs cluster annotation to boost active learning by reducing the number of human interactions required to train deep neural networks. Instead of annotating single samples individually, humans can also label clusters, producing a higher number of annotated samples with the cost of a small label error. Our experiments show that the proposed framework requires 82% and 87% less human interactions for CIFAR-10 and EuroSAT datasets respectively when compared with the fully-supervised training while maintaining similar performance on the test set.

研究の動機と目的

• ディープラーニングにおける人為的データラベリングの高コストを、個々のラベル付けの相互作用数を最小限に抑えることで低減すること。
• 大規模データセットへのアクティブラーニングのスケーリングの課題に対処するため、類似サンプルをグループ化するクラスタリングを活用すること。
• 専門家がわずかなラベルノイズを含むクラスタをラベル付けできるようにすることで、ラベリングの効率を向上させつつ、モデル性能を損なわないこと。
• 不確実性サンプリングとクラスタラベリングを組み合わせることで、単独で用いる場合よりも優れた性能と効率が得られることを実証すること。

提案手法

• 事前学習済みの畳み込みニューラルネットワーク（CNN）からの特徴埋め込みに基づいて、未ラベル付きサンプルをクラスタにグループ化するプールベースのアクティブラーニングパイプラインにクラスタリングを統合する。
• クラスタを人間の専門家に提示し、クラスタ内でのクラスの一貫性を仮定することで、必要な個々のラベル付けの回数を削減する。
• 不確実性に基づくサンプル選択とクラスタラベリングを交互または併用するハイブリッドラベリング戦略を提示し、モデル性能を向上させる。
• 特徴抽出と分類の両方の目的に同一の深層ニューラルネットワークを適用することで、追加の学習オーバーヘッドを回避する。
• 不確実性の高いサンプルを最初に選択することで、クラスタラベリングの前にクラスタをクリーニングし、ラベルノイズを低減する。
• 代表的なサンプルを可視化することで、専門家のラベリングを支援し、明確さとカバレッジのバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 クラスタラベリングは、ディープニューラルネットワークの学習に必要な人間の相互作用数を顕著に削減できるか？
• RQ2 不確実性サンプリングとクラスタラベリングを組み合わせることで、単独で用いる場合と比較してモデル性能にどのような影響を与えるか？
• RQ3 注釈順序（不確実性優先 vs クラスタ優先）がラベル誤りとモデル精度に与える影響は何か？
• RQ4 クラスタラベリングは、著しく少ないラベル付きサンプルで、完全教師あり学習と同等の性能をどれだけ維持できるか？

主な発見

• 提案されたフレームワークは、完全教師あり学習と比較して、CIFAR-10では82%、EuroSATでは87%の人間の関与を削減しながら、同等のテスト精度を達成する。
• 不確実性＋クラスタラベリングの順序が、クラスタ＋不確実性や他のベースラインを上回り、両データセットで最高のテスト精度を達成する。
• 不確実性の高いサンプルを最初にラベル付けすることで、クラスタラベル付きサンプルのラベル誤りが顕著に低減し、クラスタ品質の向上が示された。
• 不確実性とクラスタラベリングを組み合わせたシナリオでは、ラベル付けされた画像の総数が最も多くなるが、ラベルノイズの増加により性能向上の余地は限られる。
• CIFAR-10では9,000（18%）回、EuroSATでは2,800（13%）回の人間の関与で、テスト精度がそれぞれ0.950±0.003および0.973±0.001に達し、完全教師あり学習と同等の性能を達成する。
• クラスタのみの戦略では早期に性能が頭打ちになるため、性能向上を維持するには継続的な不確実性ベースのサンプリングが不可欠であることが示された。