[論文レビュー] Part-dependent Label Noise: Towards Instance-dependent Label Noise

Xiaobo Xia, Tongliang Liu+7 more|arXiv (Cornell University)|Jun 14, 2020

Music and Audio Processing被引用数 150

ひとこと要約

Part-dependent Label Noise (PDN) を提案し、部品ごとの遷移行列を学習してそれらを組み合わせてインスタンス固有のノイズを近似することで、インスタンス依存ノイズを近似します。合成データと実データの両方で、重度のインスタンス依存ノイズに対する頑健性の向上を実証します。

ABSTRACT

Learning with the extit{instance-dependent} label noise is challenging, because it is hard to model such real-world noise. Note that there are psychological and physiological evidences showing that we humans perceive instances by decomposing them into parts. Annotators are therefore more likely to annotate instances based on the parts rather than the whole instances, where a wrong mapping from parts to classes may cause the instance-dependent label noise. Motivated by this human cognition, in this paper, we approximate the instance-dependent label noise by exploiting extit{part-dependent} label noise. Specifically, since instances can be approximately reconstructed by a combination of parts, we approximate the instance-dependent extit{transition matrix} for an instance by a combination of the transition matrices for the parts of the instance. The transition matrices for parts can be learned by exploiting anchor points (i.e., data points that belong to a specific class almost surely). Empirical evaluations on synthetic and real-world datasets demonstrate our method is superior to the state-of-the-art approaches for learning from the instance-dependent label noise.

研究の動機と目的

• インスタンス全体ではなく、インスタンスの一部に依存するラベルノイズを動機づけてモデル化する。
• アンカーポイントを用いて部品依存の遷移行列を学習する実用的な枠組みを開発する。
• インスタンス依存の遷移が部品依存の遷移の加重結合で良く近似できることを示す。
• 複数のデータセットにおいて高ノイズ条件下での分類性能の優越を実証する。
• 部品依存ラベルノイズを学習するためのアルゴリズム的経路と実証的検証を提供する。

提案手法

• インスタンス依存ノイズを部品依存遷移行列の加重和 T(x) ≈ sum_j h_j(x) P^j として定式化し、h(x) をインスタンスを再構成するように学習する。
• 非負行列因子分解様の表現を用いて部品を学習する: min_W,h(x_i) sum_i || x_i - W h(x_i) ||^2 で h(x_i) ∈ R_+^r, ||h(x_i)||_1 = 1。
• アンカーポイント（Y が確率 1 で分かる点）で T(x) の行を合わせることで部品依存行列 P^j を推定し、行和制約 ||P_i^j||_1 = 1 の下で凸問題を解く。
• アンカーポイントが希少または利用できない場合に、緩和変数 ΔT を用いてインスタンス非依存の遷移行列を修正する。
• アルゴリズム 1 は要約: 1) 深層表現を学習、2) 式 (1) で h(x) を推定、3) 式 (3) & 式 (4) でアンカーポイントを用いて行ごとに P^j を学習、4) 式 (2) で T(x) を構成。

実験結果

リサーチクエスチョン

• RQ1 部品レベルの遷移行列をデータから学習して、アンカーポイントを用いてインスタンス依存ラベルノイズを近似できるか。
• RQ2 部品ベースの再構成（NMF様の表現による）は、線形結合と組み合わせると各インスタンスのノイズをどれくらいうまく捉えられるか。
• RQ3 PDN ベースの遷移行列は、合成データや実世界のノイズデータセットにおいて既存手法と比較して分類の頑健性を改善するか。
• RQ4 部品の数が近似誤差と最終精度に与える影響はどの程度か。

主な発見

• PTD 系列は、合成ベンチマーク（F-MNIST、SVHN、CIFAR-10、NEWS）において、IDN ノイズレベルの変化にもかかわらず最先端のノイズラベル手法を一貫して上回り、特に高ノイズ（IDN-50%）で優位性を示す。
• CIFAR-10 では PTD-R-V が重ノイズ設定で最良のベースラインに対して最大約 10% の絶対精度向上を示す。
• アブレーションにより PDN モデルがクラス依存モデルよりも近似誤差を小さく、部品数の影響を受けにくいことが示される。
• Clothing1M（実世界のノイズデータ）では、PTD-R-V が比較手法の中で最も高い精度（71.67%）を達成する。
• アンカーポイントベースの学習により部品依存遷移行列の推定が信頼できるようになり、限定的なアンカ情報でもインスタンス依存ノイズの効果的な再構成を可能にする。