[論文レビュー] Transfer Learning with Label Noise

Xiyu Yu, Tongliang Liu+4 more|arXiv (Cornell University)|Jul 31, 2017

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 29

ひとこと要約

本論文は、ラベルノイズ下での転移学習を想定した、ノイズ除去条件付き不変成分（DCIC）フレームワークを提案する。このフレームワークは、汚れたソースラベル下でも不変表現のロバストな学習と、バイアスのないターゲットラベル分布推定を可能にする。本手法は、一般化されたターゲットシフトの状況下で、クラス条件付きラベルノイズの悪影響を理論的に緩和でき、合成データおよび実世界のデータセットにおいて、既存の手法を上回る性能を示す。

ABSTRACT

Transfer learning aims to improve learning in target domain by borrowing knowledge from a related but different source domain. To reduce the distribution shift between source and target domains, recent methods have focused on exploring invariant representations that have similar distributions across domains. However, when learning this invariant knowledge, existing methods assume that the labels in source domain are uncontaminated, while in reality, we often have access to source data with noisy labels. In this paper, we first show how label noise adversely affect the learning of invariant representations and the correcting of label shift in various transfer learning scenarios. To reduce the adverse effects, we propose a novel Denoising Conditional Invariant Component (DCIC) framework, which provably ensures (1) extracting invariant representations given examples with noisy labels in source domain and unlabeled examples in target domain; (2) estimating the label distribution in target domain with no bias. Experimental results on both synthetic and real-world data verify the effectiveness of the proposed method.

研究の動機と目的

• 既存の手法がクリーンなソースラベルを仮定している一方で、現実のデータはしばしばノイズを含むという、転移学習における重要なギャップを埋めること。
• ラベルノイズが、複数の転移学習シナリオにおける不変表現学習とラベルシフト補正にどのように悪影響を及えるかを調査すること。
• ラベルノイズ下でも一貫した不変表現の学習とバイアスのないターゲットラベル分布推定を保証する、理論的裏付けのある手法を開発すること。
• 医療データ分析やクロスドメインビジョンなど、実用的応用で一般的な一般化されたターゲットシフトのシナリオに焦点を当てる。

提案手法

• 汚れたソースラベル下でも不変表現とターゲットラベル分布を同時に学習する、ノイズ除去条件付き不変成分（DCIC）フレームワークを提案する。
• ソースドメインにおけるクラス条件付きラベルノイズ（CCN）に対してロバストな、条件付き不変表現学習目的関数を用いる。
• ラベルノイズ補正を、アンラベルドターゲットデータを活用することで、表現学習の過程で実現するノイズ除去メカニズムを組み込む。
• 最小最大化最適化フレームワークを用いて、ラベルノイズが存在する中でもドメイン間の条件付き分布を一致させることで、ターゲットラベル分布を推定する。
• 理論的分析により、DCICがCCN下でも一貫した不変表現推定とバイアスのないラベルシフト補正を保証することを証明する。
• McDiarmidの不等式を用いて一般化誤差の一般化バウンドを導出し、ノイズデータ下での統計的収束性を確立する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインにおけるラベルノイズは、特に不変表現学習とラベルシフト補正において、既存の転移学習手法の性能にどのように影響を与えるか？
• RQ2 ソースラベルがクラス条件付きノイズによって汚染されている場合でも、有効に機能する転移学習フレームワークを設計できるか？
• RQ3 提案されたDCICフレームワークは、ソースラベルがノイズを含んでも、一貫した不変表現の学習を保証するか？
• RQ4 ラベルノイズ下でも、バイアスのないターゲットドメインのラベル分布推定が、この手法によって正確に行えるか？
• RQ5 DCICフレームワークは、ノイズラベル下での表現学習とラベルシフト推定に対して、どのような理論的保証を提供するか？

主な発見

• 提案されたDCICフレームワークは、ノイズを含むソースデータとアンラベルドターゲットデータから、クラス条件付きラベルノイズに対してロバストである不変表現を理論的に抽出可能である。
• DCICは、ソースラベルが汚染されていても、ターゲットラベル分布のバイアスのない推定を達成しており、信頼性の高い転移学習にとって不可欠である。
• 合成データおよび実世界のデータセットにおける実験結果から、DCICはラベルノイズ下での転移学習精度において、ベースライン手法を顕著に上回ることが示された。
• 本手法は、ラベルノイズが既存のアプローチを最も著しく劣化させる一般化されたターゲットシフトにおいても、強固な性能を維持する。
• 理論的分析により、DCICの一般化誤差が、ソースおよびターゲットのサンプルサイズの平方根に従って減少することが確認され、統計的一貫性が裏付けられた。