[論文レビュー] Data Distillation: Towards Omni-Supervised Learning

Ilija Radosavovic, Piotr Dollár+3 more|arXiv (Cornell University)|Dec 12, 2017

Multimodal Machine Learning Applications参考文献 40被引用数 43

ひとこと要約

本稿では、1つのモデルを複数のデータ変換に適用した予測をアンサンブルすることで、合成アノテーションを生成することにより、ラベルなしの大規模なインターネットスケールデータを活用するデータドキュメンテーションという手法を提案する。この手法は、COCOキーポints検出およびオブジェクト検出において完全に教師ありのベースラインを上回り、キーポイント検出では最大2.0 APの向上、オブジェクト検出のAP_Mでは1.8 APの向上を達成し、オムニスーパvisedラーニングの実現可能性を示している。

ABSTRACT

We investigate omni-supervised learning, a special regime of semi-supervised learning in which the learner exploits all available labeled data plus internet-scale sources of unlabeled data. Omni-supervised learning is lower-bounded by performance on existing labeled datasets, offering the potential to surpass state-of-the-art fully supervised methods. To exploit the omni-supervised setting, we propose data distillation, a method that ensembles predictions from multiple transformations of unlabeled data, using a single model, to automatically generate new training annotations. We argue that visual recognition models have recently become accurate enough that it is now possible to apply classic ideas about self-training to challenging real-world data. Our experimental results show that in the cases of human keypoint detection and general object detection, state-of-the-art models trained with data distillation surpass the performance of using labeled data from the COCO dataset alone.

研究の動機と目的

• すべての利用可能なラベル付きデータと膨大なラベルなしデータソースを組み合わせる、オムニスーパvisedラーニングの研究。
• モデルや損失関数の変更なしに、現実世界の大規模な視覚認識タスクにおいてラベルなしデータを有効に活用する課題への対処。
• 現代の高精度なモデルが自己学習用に有用な擬似ラベルを信頼性高く生成できることの証明。
• COCOキーポイント検出やオブジェクト検出といった困難なベンチマークにおけるデータドキュメンテーションの有効性の評価。
• インターネットスケールのラベルなしデータを活用することで、完全に教師ありのベースラインを上回ることの実証。

提案手法

• 入力画像に複数のデータ変換（例：反転、スケーリング）を適用し、1つのモデルで予測を生成する。
• これらの変換されたビューからの予測をアンサンブルし、より頑健で多様な擬似ラベルを生成する。
• アンサンブルされた予測結果を、学生モデルの再訓練用の合成学習ラベルとして使用する。
• モデルアーキテクチャや損失関数を変更せずに、擬似ラベルを真のラベルとして扱うエンドツーエンドのアプローチを採用する。
• オブジェクト検出におけるカテゴリごとのインスタンス数のバランスをとるために、各カテゴリの信頼度しきい値を用いる。
• 予測ボックスの集合に対してボックス投票を用いて、変換間で結果を統合する。

実験結果

リサーチクエスチョン

• RQ1 データドキュメンテーションは、インターネットスケールのラベルなしデータを効果的に活用し、完全に教師ありの性能を上回ることができるか？
• RQ2 1つのモデルの予測を複数のデータ変換に対してアンサンブルすることで、単一の予測よりも意味のある信号が得られるか？
• RQ3 データドキュメンテーションは、COCOキーポイント検出やオブジェクト検出といった現実世界の大規模ベンチマークで性能向上をもたらすか？
• RQ4 同じラベル付きデータに加えてラベルなしデータを用いる場合、データドキュメンテーションは完全に教師あり学習と比べてどのように異なるか？
• RQ5 モデルや損失関数を変更せずに、データドキュメンテーションを効果的に適用できるか？

主な発見

• COCOキーポイント検出において、データドキュメンテーションはMask R-CNNベースラインに対して2.0 APの向上を達成し、同じ量の手動ラベル付きデータで学習した場合を上回った。
• オブジェクト検出においては、co-115をラベル付き、un-120をラベルなしデータとして使用した場合、完全に教師ありベースラインに対してAPが0.8–0.9ポイント、AP50が0.9–1.1ポイント向上した。
• 最も大きな向上はAP_M指標で観察され、1.8ポイント（43.7から45.5に）上昇した（ResNeXt-101-32×4を用いて）。
• ResNet-50、ResNet-101、ResNeXt-101-32×4を含む、テストしたすべてのバックボーンアーキテクチャにおいて、一貫して性能向上が見られた。
• これらの結果は、データドキュメンテーションが完全に教師ありベースラインを上回ることができることを示しており、オムニスーパvisedラーニングの可能性を裏付けている。
• データドキュメンテーションの成功は、現代のモデルが十分に正確であるため、信頼性のある擬似ラベルを生成できることを示唆しており、複雑なデータクリーニングのヒューリスティクスの必要性が低下することが示唆される。