[論文レビュー] Noisy Labels Can Induce Good Representations.

Jingling Li, Mozhi Zhang+3 more|arXiv (Cornell University)|Dec 23, 2020

Machine Learning and Data Classification参考文献 78被引用数 8

ひとこと要約

この論文は、アーキテクチャがタスクに適合している場合、最終層の一般化がうまくいかなくても、ノイズのあるラベルが深層ニューラルネットワークにおいても良い隠れ表現を誘発できることを示している。最終層を小さなクリーンなサブセットで訓練された線形分類器に置き換えることで、画像分類およびグラフタスクのノイズラベルベンチマークにおいて性能が向上し、既存の技術と組み合わせることで最先端の結果を達成している。

ABSTRACT

The current success of deep learning depends on large-scale labeled datasets. In practice, high-quality annotations are expensive to collect, but noisy annotations are more affordable. Previous works report mixed empirical results when training with noisy labels: neural networks can easily memorize random labels, but they can also generalize from noisy labels. To explain this puzzle, we study how architecture affects learning with noisy labels. We observe that if an architecture suits the task, training with noisy labels can induce useful hidden representations, even when the model generalizes poorly; i.e., the last few layers of the model are more negatively affected by noisy labels. This finding leads to a simple method to improve models trained on noisy labels: replacing the final dense layers with a linear model, whose weights are learned from a small set of clean data. We empirically validate our findings across three architectures (Convolutional Neural Networks, Graph Neural Networks, and Multi-Layer Perceptrons) and two domains (graph algorithmic tasks and image classification). Furthermore, we achieve state-of-the-art results on image classification benchmarks by combining our method with existing approaches on noisy label training.

研究の動機と目的

• 深層ネットワークがノイズラベルがあるにもかかわらず一般化がうまくいく理由のパラドックスを解明すること。
• ラベルノイズ下での学習にあたって、ニューラルネットワークアーキテクチャがどのように影響を与えるかを調査すること。
• ノイズラベルで学習する際のモデル性能を向上させる実用的な手法を開発すること。
• 画像およびグラフタスクを含む多様なアーキテクチャとドメインにおいて、その手法の妥当性を検証すること。

提案手法

• 事前に訓練されたモデルの最終全結合層を線形分類器に置き換える。
• 線形分類器は訓練データの小さなクリーンサブセットにのみ特化して訓練される。
• 最終層がノイズラベルによって損なわれても、隠れ表現が依然として有用であるという事実を活用する。
• この手法は畳み込みニューラルネットワーク、グラフニューラルネットワーク、マルチレイヤーパーセプトロンに適用される。
• 性能は、既存のノイズラベル学習手法と組み合わせて評価される。

実験結果

リサーチクエスチョン

• RQ1 タスクに適したアーキテクチャを持つ場合、ニューラルネットワークはノイズラベルからも有用な表現を学習できるか？
• RQ2 意味のある特徴を学習しているにもかかわらず、なぜ一部のモデルはノイズラベルに対して一般化がうまくいかないのか？
• RQ3 クリーンデータで訓練された単純な線形ヘッドは、ノイズラベルデータセットの性能を向上させることができるか？
• RQ4 この手法は、さまざまなアーキテクチャおよびドメインでどのように動作するか？

主な発見

• 最終層がラベルノイズのため失敗しても、トレーニング中に学習された隠れ表現は依然として有用で、転移可能である。
• 小さなクリーンセットで訓練された線形分類器に最終層を置き換えることで、ノイズラベルベンチマークにおける一般化性能が顕著に向上する。
• 既存のノイズラベル学習アプローチと組み合わせることで、画像分類タスクで最先端のパフォーマンスを達成する。
• このアプローチは、CNN、GNN、MLPを含む多様なアーキテクチャにおいて、画像およびグラフベースのタスクの両方で有効である。