[論文レビュー] Active Learning with TensorBoard Projector

Francois Luus, Naweed Khan+1 more|arXiv (Cornell University)|Jan 3, 2019

Machine Learning and Data Classification参考文献 13被引用数 10

ひとこと要約

本稿では、半教師付きt-SNEを用いた可視化特徴空間の探索とラベル伝播を統合した、TensorBoard Projectorに組み込まれたインタラクティブなアクティブラーニングシステムを提案する。この手法により、ラベル付けの効率が著しく向上する。人間の知覚的均質性をBarnes-Hutフォーカスカーネルでモデル化し、回転ベースのExemplar-CNNを用いた非教師あり転移学習を実施することで、特殊画像データセットにおいて100回未満のラベル付けアクションで高い分類器の正確性を達成し、不確実性サンプリングを上回る性能を発揮する。

ABSTRACT

An ML-based system for interactive labeling of image datasets is contributed in TensorBoard Projector to speed up image annotation performed by humans. The tool visualizes feature spaces and makes it directly editable by online integration of applied labels, and it is a system for verifying and managing machine learning data pertaining to labels. We propose realistic annotation emulation to evaluate the system design of interactive active learning, based on our improved semi-supervised extension of t-SNE dimensionality reduction. Our active learning tool can significantly increase labeling efficiency compared to uncertainty sampling, and we show that less than 100 labeling actions are typically sufficient for good classification on a variety of specialized image datasets. Our contribution is unique given that it needs to perform dimensionality reduction, feature space visualization and editing, interactive label propagation, low-complexity active learning, human perceptual modeling, annotation emulation and unsupervised feature extraction for specialized datasets in a production-quality implementation.

研究の動機と目的

• 特殊画像データセットにおける最小限の人的ラベル付け作業で、ラベル付けの効率を向上させること。
• アクティブラーニング用の生産的ツールとして、インタラクティブな可視化とラベル伝播を統合すること。
• 半教師付きt-SNEと非教師あり転移学習の有効性を、ラベル付けコストの低減という観点から評価すること。
• 局所的均質性評価による現実的な人的ラベル付け行動のモデル化を通じて、アクティブラーニング戦略のベンチマークを実施すること。

提案手法

• 本システムは、ImageNetで事前学習された重みを用いた回転ベースのExemplar-CNNを用い、非教師あり特徴を抽出する。これは、転移学習の目的で固定または微調整可能である。
• 半教師付きt-SNEは、グローバルに正規化された引力、半教師付きの反発力、滑らかなラベル統合を強化することで、可視化とラベル伝播の両方を向上させる。
• ラベル付け意思決定は、t-SNEプロジェクションにおける局所的均質性の視覚的評価に基づき、Barnes-Hutフォーカスカーネルを用いて人間の知覚を模倣する。
• アクティブラーニングは、クラスタの凝集度と予測の信頼性に基づいて、ラベル付けの潜在的価値が最も高いサンプルを繰り返し選択することで進行する。
• 分類器の性能は、ドロップアウトとSoftMax出力を備えたフィードフォワードニューラルネットワークを用いた5分割交差検証によって評価され、各ラベル付けアクション後に再訓練される。
• 人的相互作用のパターンを模倣する現実的なラベル付けエミュレーションフレームワークを構築し、人的実験を伴わずにラベル付け効率をベンチマーク化する。

実験結果

リサーチクエスチョン

• RQ1 半教師付きt-SNEは、特殊画像データセットにおけるアクティブラーニングのラベル付け効率を向上させることができるか？
• RQ2 Exemplar-CNNを用いた非教師あり転移学習は、ImageNet特徴と比較して、埋め込み品質とラベル付け効率の面で優れているか？
• RQ3 局所的均質性に基づくインタラクティブな可視化ラベリングは、不確実性サンプリングをどれほど上回るか？
• RQ4 改善された半教師付きt-SNEを用いることで、非教師ありt-SNEと比較してどの程度ラベル付け効率が向上するか？

主な発見

• t-SNEラベリングを用いた提案されたアクティブラーニング手法は、血液球データセットにおいて平均65回のラベル付けアクションで全精度の80％以上を達成したのに対し、不確実性サンプリングでは145回を要した。
• 花のデータセットでは、t-SNEラベリングが平均37回のアクションで80％の精度に到達したが、不確実性サンプリングでは151回を要した。
• VGG-16およびInception-ResNet-v2の転送固定（Transfer-Frozen）および転送特徴は、ImageNet特徴を上回り、それぞれ115回および123回のアクションで80％および81％の平均精度を達成した。
• f=0.1(10)の半教師付きt-SNEは、すべてのデータセットで不確実性サンプリングを一貫して上回り、血液球やサルなどの特殊データセットで最も顕著な向上を示した。
• 本システムは、すべての特殊データセットで100回未満のラベル付けアクションで高い性能を達成し、顕著なラベル付け効率の向上を示した。
• エミュレーションフレームワークの結果、人間の知覚的行動を現実的に反映させた状況下でも、t-SNEラベリングは不確実性サンプリングを上回る効率性を示した。