[論文レビュー] Self-supervised Semi-supervised Learning for Data Labeling and Quality Evaluation

Haoping Bai, Meng Cao+2 more|arXiv (Cornell University)|Nov 22, 2021

Advanced Neural Network Applications参考文献 32被引用数 7

ひとこと要約

本論文は、コントラスト的表現学習とk近傍近傍グラフ上のラベル伝搬を用いて、ラベルノイズ下でも効率的なデータラベリングと頑健な分類を可能にする自己教師あり半教師あり学習フレームワークを提案する。BYOLを用いた自己教師あり特徴学習と行列ベースのラベル伝搬により、CIFAR10で0.1%のラベル付きデータのみを用いて97.0%のTop-1精度を達成し、50%のノイズラベルを含むCIFAR10でも97.4%の精度を示す。これは、アクティブラーニングおよびノイズラベルに対する耐性の両面で優れた性能を示している。

ABSTRACT

As the adoption of deep learning techniques in industrial applications grows with increasing speed and scale, successful deployment of deep learning models often hinges on the availability, volume, and quality of annotated data. In this paper, we tackle the problems of efficient data labeling and annotation verification under the human-in-the-loop setting. We showcase that the latest advancements in the field of self-supervised visual representation learning can lead to tools and methods that benefit the curation and engineering of natural image datasets, reducing annotation cost and increasing annotation quality. We propose a unifying framework by leveraging self-supervised semi-supervised learning and use it to construct workflows for data labeling and annotation verification tasks. We demonstrate the effectiveness of our workflows over existing methodologies. On active learning task, our method achieves 97.0% Top-1 Accuracy on CIFAR10 with 0.1% annotated data, and 83.9% Top-1 Accuracy on CIFAR100 with 10% annotated data. When learning with 50% of wrong labels, our method achieves 97.4% Top-1 Accuracy on CIFAR10 and 85.5% Top-1 Accuracy on CIFAR100.

研究の動機と目的

• ラベル付きデータを最小限に抑えたアクティブラーニングを可能にすることで、産業的ディープラーニングパイプラインにおける人的ラベル付けコストを低減すること。
• 自己教師あり表現学習とラベル伝搬を用いてラベル誤りを検出し、是正することで、ラベル品質を向上させること。
• 近傍グラフを用いたデータ多様体構造の活用により、高いラベルノイズ下でもモデル学習を頑健に実行できること。
• 高価なニューラルネットワークの微調整を回避することで、人間が関与するデータキュレーションシステムにスケーラブルかつリアルタイム対応できるようにすること。
• 産業応用におけるラベル効率的機械学習およびデータキュレーションのシンプルかつ効果的なベースラインを確立すること。

提案手法

• 本手法は、自己教師ありコントラスト的学習フレームワークであるBYOLを用い、ラベルなしデータの増強されたビューから不変な画像表現を学習する。
• 学習済み表現を類似度指標として用いてスパースなk近傍近傍グラフを構築し、温度調整付きコサイン類似度をエッジ重みに用いる。
• ラベル伝搬は対称正規化グラフラプラシアンを用い、反復的な行列乗算によりラベル付きサンプルからラベルなしサンプルへラベルを伝搬する。
• 近傍グラフを活用することで、データ多様体全体にわたって信頼性の高いラベル情報を伝搬できるため、アクティブラーニングとノイズラベル補正の両方をサポートする。
• 再訓練を回避するため、事前学習済み特徴と効率的な行列演算を用いることで、人間が関与するシステムへのリアルタイム統合を可能にする。
• k、T、および学習率などのハイパーパrameterはグリッドサーチにより調整され、バックボーンとしてViT-B/16が使用され、初期化にはBEiTが用いられる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり表現学習とラベル伝搬を組み合わせることで、高精度なモデルを達成するために必要な人的ラベル付き例の数を顕著に削減できるか？
• RQ2 k-NNグラフ上でのラベル伝搬は、高いラベルノイズ下でもラベル誤りをどれだけ是正でき、モデル性能を維持できるか？
• RQ3 本手法は、既存のアクティブラーニングベースラインと比較して、ラベル効率性および収束速度の面で優れているか？
• RQ4 自己教師あり特徴から構築された近傍グラフは、リアルタイム環境下でも信頼性の高いラベル伝搬を可能にする十分なデータ構造を保持しているか？
• RQ5 本手法は、スループットを損なわず、モデルの微調整を要せず、人間が関与するデータキュレーションパイプラインにスムーズに統合可能か？

主な発見

• CIFAR10では0.1%のラベル付きデータのみを用いて97.0%のTop-1精度を達成し、先行するアクティブラーニング手法を上回った。
• CIFAR100では10%のラベル付きデータで83.9%のTop-1精度を達成し、顕著なラベル効率性を示した。
• 50%のノイズラベルを含むCIFAR10では97.4%のTop-1精度、CIFAR100では85.5%の精度を維持し、ラベル汚染に対して高い耐性を示した。
• ラベルの一貫性仮定が成り立つ場合、ラベル伝搬により疑似ラベルのノイズが20イテレーション以内に0.8から0.2未満にまで低下した。
• アブレーションスタディにより、ラベルなしデータが性能向上に顕著に寄与していることが確認され、ラベルなしデータからの疑似ラベルを除外すると検証精度が著しく低下した。
• 学習済み特徴を用いたk-NN分類ベースラインは、CIFAR10で98.45%のTop-1精度、CIFAR100で89.58%の精度を達成し、自己教師あり表現の質の高さを裏付けた。