[論文レビュー] A survey on Semi-, Self- and Unsupervised Techniques in Image Classification.

Lars Schmarje, Monty Santarossa+2 more|arXiv (Cornell University)|Feb 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 104被引用数 17

ひとこと要約

本調査は、画像分類における半教師あり、自己教師あり、教師なし学習手法をレビューし、ラベルの必要を減らす傾向を特定するため25の手法を分析している。最高水準のモデルは、ますますスケーラブルで、監視が少なく、共通のアイデアを共有しており、今後の統合によって性能を向上させる可能性があることが判明した。

ABSTRACT

While deep learning strategies achieve outstanding results in computer vision tasks, one issue remains: The current strategies rely heavily on a huge amount of labeled data. In many real-world problems, it is not feasible to create such an amount of labeled training data. Therefore, it is common to incorporate unlabeled data into the training process to reach equal results with fewer labels. Due to a lot of concurrent research, it is difficult to keep track of recent developments. In this survey, we provide an overview of often used ideas and methods in image classification with fewer labels. We compare 25 methods in detail. In our analysis, we identify three major trends. 1. State-of-theart methods are scaleable to real-world applications based on their accuracy. 2. The degree of supervision which is needed to achieve comparable results to the usage of all labels is decreasing. 3. All methods share common ideas while only a few methods combine these ideas to achieve better performance. Based on all of these three trends we discover future research opportunities.

研究の動機と目的

• 画像分類における半教師あり、自己教師あり、教師なし学習手法の包括的概要を提供すること。
• 25の最近の手法を、性能、スケーラビリティ、ラベル効率の観点から比較すること。
• これらの手法に共通するパターンや傾向を特定し、今後の研究を導くこと。
• 完全教師あり学習と同等の性能を達成するために必要な監視の度合いを分析すること。
• 共通の原則と手法統合のギャップを検討することで、研究の機会を明らかにすること。

提案手法

• 本調査は、25の最先端の半教師あり、自己教師あり、教師なし画像分類手法について詳細な比較分析を実施している。
• 実世界の応用における精度、スケーラビリティ、ラベル効率に基づいて手法を評価している。
• データオーグメンテーション、一貫性正則化、対照的学習といった共通するメソドロジー的要素が、共有された基盤的アイデアとして特定された。
• 分析は、高精度を維持しながらラベルデータへの依存を減らす方法に焦点を当てている。
• 監視レベルごとに手法を分類し、アーキテクチャとトレーニング戦略の違いを検討している。
• 調査結果を統合し、監視の必要性の低下とスケーラビリティの向上という傾向を強調している。

実験結果

リサーチクエスチョン

• RQ1 ラベルが少ない状況における画像分類のための、最も効果的な半教師あり、自己教師あり、教師なし手法は何か？
• RQ2 少ないラベル例を使用する場合、現在の手法は精度とスケーラビリティにおいてどのように比較されるか？
• RQ3 現代の手法は、性能を落とさずに、どの程度ラベルデータの必要性を低減できるか？
• RQ4 弱教師あり学習における高性能な手法に共通するコアなアイデアは何か？
• RQ5 既存の原則をどのように統合すれば、低監視状態での性能をさらに向上させられるか？

主な発見

• 半教師ありおよび自己教師あり学習の最先端手法は、ますますスケーラブルであり、実世界への導入に適している。
• 完全教師あり学習と同等の性能を達成するために必要な監視の度合いは、着実に低下している。
• 多様なアーキテクチャとトレーニング戦略があるにもかかわらず、大多数の高性能な手法は、データオーグメンテーションや一貫性正則化といった共通の基盤的アイデアを共有している。
• 複数のコアなアイデアを効果的に統合した手法はほんのわずかであり、手法統合による性能向上の余力がまだ残っていることが示唆される。
• これらの傾向の一致は、半教師ありおよび自己教師あり学習フレームワークにおいて、有効な原則を統合する今後の研究機会を示している。