[論文レビュー] Learning from Noisy Labels with Distillation

Yuncheng Li, Shuicheng Yan+4 more|arXiv (Cornell University)|Mar 7, 2017

Machine Learning and Data Classification参考文献 18被引用数 58

ひとこと要約

大規模なノイズの多いデータセットから、少量のクリーンなデータセットを用いて学習するための蒸留ベースのフレームワークを提案し、蒸留を導く知識グラフを導入; 実世界のノイズ付きラベルのベンチマークを紹介。

ABSTRACT

The ability of learning from noisy labels is very useful in many visual recognition tasks, as a vast amount of data with noisy labels are relatively easy to obtain. Traditionally, the label noises have been treated as statistical outliers, and approaches such as importance re-weighting and bootstrap have been proposed to alleviate the problem. According to our observation, the real-world noisy labels exhibit multi-mode characteristics as the true labels, rather than behaving like independent random outliers. In this work, we propose a unified distillation framework to use side information, including a small clean dataset and label relations in knowledge graph, to "hedge the risk" of learning from noisy labels. Furthermore, unlike the traditional approaches evaluated based on simulated label noises, we propose a suite of new benchmark datasets, in Sports, Species and Artifacts domains, to evaluate the task of learning from noisy labels in the practical setting. The empirical study demonstrates the effectiveness of our proposed method in all the domains.

研究の動機と目的

• クリーンなラベルが乏しい大規模ノイズデータセットから学習する動機づけ。
• ノイズデータからの学習を導く小規模なクリーンデータセットを活用する蒸留フレームワークを提案。
• ラベル信頼度を伝播しモデルの分散を減らす知識グラフを統合。
• 実世界のラベルノイズを伴うベンチマークデータセットを作成し実用性を評価。

提案手法

• 小規模なクリーンデータセットで補助モデルを訓練する。
• ノイズ付きラベルと補助モデルの予測（疑似ラベル）を組み合わせた蒸留損失を用いて、ノイズ付きデータ全体でメインモデルを訓練する。
• 訓練をさらに導く知識グラフ誘導性ソフトラベルを導入する（GSi）。
• 疑似ラベルのリスクが、ノイズのみまたはクリーンラベルのみを使用する場合より低減できることを示す理論的洞察を導出する。
• YFCC100M から Sports、Species、Artifacts の分野で部分的クリーンデータを含む実世界ベンチマークデータセットを構築する。
• クリーンでの訓練、ノイズ付きでの訓練、ブートストラッピング、ラベル平滑化、その他の再重み付け法などのベースラインと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 小規模なクリーンデータセットからの蒸留は、ノイズの多い大規模データセットでの学習を改善できるか？
• RQ2 蒸留を導く知識グラフを組み込むと、ノイズ付きラベルに対してさらにヘッジできるか？
• RQ3 提案手法は、さまざまなドメインの実世界のノイズ付きデータセットでどのように性能を発揮するか？
• RQ4 知識グラフを用いた蒸留は、完全にクリーンなラベルによる上限にどれだけ近づくか？

主な発見

Sports	Species-Y	Species-I	Artifacts
44.0	18.1	22.0	19.2
50.7	23.7	38.5	22.0
52.2	25.1	39.1	26.9
50.6	23.6	38.8	23.4
51.9	25.1	41.4	22.9
50.8	22.2	37.5	19.7
50.8	23.7	38.5	22.0
50.8	23.7	41.6	24.8
53.5	26.1	41.6	26.0
53.7	25.2	42.3	26.0
54.1	27.4	-	-

• 蒸留は、4つのデータセット（Sports、Species-Y、Species-I、Artifacts）すべてでベースラインを上回る。
• セマンティック/知識グラフ誘導蒸留は、標準的な蒸留より追加のゲインをもたらす。
• 提案手法は、いくつかのデータセットで上限値（完全にクリーンなデータ）に近づき、ノイズによるギャップを縮小する。
• 学習された疑似ラベルは、ノイズ付きラベルと比較して真陽性のランク付けを改善し偽陽性を減らす。
• 温度パラメータ T は性能の安定性を示す。
• 実世界のノイズ付きベンチマークは、合成ノイズを超えた実用的な関連性を強調する。