[論文レビュー] The Devil is in the Labels: Noisy Label Correction for Robust Scene Graph Generation

Lin Li, Long Chen+4 more|arXiv (Cornell University)|Jun 7, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、シーングラフ生成（SGG）のためのモデル非依存なノイジーサブジェクトラベル補正フレームワークNICEを提案する。NICEは、分布外検出、クラスタリングベースのポジティブサンプルフィルタリング、重み付きKNNによるラベル再割り当てを用いて、共通誤り、同義語ランダム、およびネガティブなノイズの3種類のアノテーションノイズを検出し、補正する。NICEは、ノイズのあるラベルを精錬することで、複数のバックボーンとベンチマークでSGG性能を顕著に向上させ、mR@KおよびR@Kで最先端の結果を達成する。

ABSTRACT

Unbiased SGG has achieved significant progress over recent years. However, almost all existing SGG models have overlooked the ground-truth annotation qualities of prevailing SGG datasets, i.e., they always assume: 1) all the manually annotated positive samples are equally correct; 2) all the un-annotated negative samples are absolutely background. In this paper, we argue that both assumptions are inapplicable to SGG: there are numerous "noisy" groundtruth predicate labels that break these two assumptions, and these noisy samples actually harm the training of unbiased SGG models. To this end, we propose a novel model-agnostic NoIsy label CorrEction strategy for SGG: NICE. NICE can not only detect noisy samples but also reassign more high-quality predicate labels to them. After the NICE training, we can obtain a cleaner version of SGG dataset for model training. Specifically, NICE consists of three components: negative Noisy Sample Detection (Neg-NSD), positive NSD (Pos-NSD), and Noisy Sample Correction (NSC). Firstly, in Neg-NSD, we formulate this task as an out-of-distribution detection problem, and assign pseudo labels to all detected noisy negative samples. Then, in Pos-NSD, we use a clustering-based algorithm to divide all positive samples into multiple sets, and treat the samples in the noisiest set as noisy positive samples. Lastly, in NSC, we use a simple but effective weighted KNN to reassign new predicate labels to noisy positive samples. Extensive results on different backbones and tasks have attested to the effectiveness and generalization abilities of each component of NICE.

研究の動機と目的

• SGGデータセットにおける無視されがちなノイズアノテーションの問題に対処すること。これは、すべてのポジティブラベルが正しいこと、およびすべてのアノテートされていないネガティブラベルがバックグラウンドであるという2つの一般的な仮定に反する。
• 共通誤り（粗粒度の過剰な細粒度述語）、同義語ランダム（一貫性のない同義語選択）、およびネガティブ（バックグラウンドでない偽のネガティブ）の3種類のアノテーションノイズを特定・補正すること。
• モデル再トレーニングやアーキテクチャ変更を必要とせず、トレーニングデータ品質を向上させることのできるモデル非依存なフレームワークを開発すること。
• ノイズのあるラベルのクリーニングが、特に長尾分布を示す述語に対して、より強固で汎用性の高いSGGモデルを生成することに寄与することを実証すること。

提案手法

• Neg-NSDは、ノイジーサブジェクトラベル検出を分布外検出問題として扱い、検出された外れ値に疑似ラベルを割り当てる。
• Pos-NSDは、意味的類似度に基づいてポジティブサンプルをクラスタリングするアルゴリズムを用い、最もノイズの強いクラスタをノイジーサブジェクトラベルとして特定する。
• NSCは、特徴空間の近接度に基づいて、重み付きKNNアルゴリズムを用いてノイジーサブジェクトラベルにより高品質な述語ラベルを再割り当てする。
• フレームワークは3段階パイプラインとして適用される：まずノイジーサブジェクトラベルを検出し、次にノイジーサブジェクトラベルをフィルタリングし、最後に再割り当てによりラベルを補正する。
• cutoff距離 $d_c$ とwKNNにおけるKといったハイパーパrameterは、ヘッド、ボディ、テイルの述語カテゴリごとに調整され、ヘッド・ボディ・テイルの述語のパフォーマンスをバランスさせる。
• 本手法はモデル非依存であり、NICEでデータセットを事前処理した後、任意のSGGバックボーンに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 共通誤りおよび同義語ランダムなアノテーションバイアスは、SGGモデルのパフォーマンスと一般化性能にどのように影響するか？
• RQ2 分布外検出は、真にバックグラウンドでないノイジーサブジェクトラベルを効果的に特定できるか？
• RQ3 クラスタリングベースのフィルタリングは、ノイズの強いサブジェクトラベルを分離することで、ポジティブサンプルの品質をどの程度向上させられるか？
• RQ4 重み付きKNNは、ノイジーサブジェクトラベルにより正確な述語ラベルを再割り当てできるか？また、その影響は下流のパフォーマンスにどのように現れるか？
• RQ5 ノイズのあるラベルを補正することで、異なるSGGモデルや評価指標において一貫したパフォーマンス向上が得られるか？

主な発見

• NICEは、Motifsや他のバックボーンを含む複数のSGGモデルでmR@KおよびR@Kを顕著に向上させ、強力な一般化性能を示している。
• Pos-NSDの単独適用でも、より少ないがクリアなポジティブサンプルを用いることでmR@Kが向上し、ノイジーサブジェクトラベルがパフォーマンスを劣化させることを実証している。
• NSCが最大のパフォーマンス向上を達成しており、ノイジーサブジェクトラベルへのラベル再割り当てが単なるフィルタリングよりも効果的であることを示している。
• T-SNE可視化により、NICEが同義語ランダムおよび共通誤りのペアにおいて、特徴空間の不一致を低減することが確認された。
• アブレーションスタディの結果、wKNNにおけるK=3が指標のバランスにおいて最良の妥協点を提供しており、$d_c$ に対して (S,M,L) のハイパーパrameter設定が最適な結果をもたらした。
• NICEは、バックグラウンドでないサブジェクトラベルを効果的に検出し、補正することで、'growing on' と 'on' のような欠落または細粒度の関係の検出性能が向上した。