[論文レビュー] NICEST: Noisy Label Correction and Training for Robust Scene Graph Generation

Lin Li, Jun Xiao+5 more|arXiv (Cornell University)|Jul 27, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文は、ノイズのあるラベルを是正し、偏りのない学習を可能にするモデルに依存しないフレームワークNICESTを提案する。ノイズのあるサンプルの検出とソフトラベルの再割り当てを可能にするNICEと、動的重み付けを伴うマルチティーチャー蒸留を行うNISTを導入し、VG-OODのようなベンチマークにおける尾部述語の性能向上と一般化性能の向上に顕著な効果を示している。

ABSTRACT

Nearly all existing scene graph generation (SGG) models have overlooked the ground-truth annotation qualities of mainstream SGG datasets, i.e., they assume: 1) all the manually annotated positive samples are equally correct; 2) all the un-annotated negative samples are absolutely background. In this paper, we argue that neither of the assumptions applies to SGG: there are numerous noisy ground-truth predicate labels that break these two assumptions and harm the training of unbiased SGG models. To this end, we propose a novel NoIsy label CorrEction and Sample Training strategy for SGG: NICEST. Specifically, it consists of two parts: NICE and NIST, which rule out these noisy label issues by generating high-quality samples and the effective training strategy, respectively. NICE first detects noisy samples and then reassigns them more high-quality soft predicate labels. NIST is a multi-teacher knowledge distillation based training strategy, which enables the model to learn unbiased fusion knowledge. And a dynamic trade-off weighting strategy in NIST is designed to penalize the bias of different teachers. Due to the model-agnostic nature of both NICE and NIST, our NICEST can be seamlessly incorporated into any SGG architecture to boost its performance on different predicate categories. In addition, to better evaluate the generalization of SGG models, we further propose a new benchmark VG-OOD, by re-organizing the prevalent VG dataset and deliberately making the predicate distributions of the training and test sets as different as possible for each subject-object category pair. This new benchmark helps disentangle the influence of subject-object category based frequency biases. Extensive ablations and results on different backbones and tasks have attested to the effectiveness and generalization ability of each component of NICEST.

研究の動機と目的

• 既存のSGGモデルがすべての真のラベルが正しいものと仮定し、すべてのラベルなし関係がバックグラウンドであると見なすという重要な見過ごしを是正すること。
• SGGデータセットにおける3種類のノイズラベルを特定・是正すること：一般的に誤って付与されるもの（common-prone）、同義語のランダム付与（synonym-random）、および負のノイズ関係（negative noisy relations）。
• 低頻度の述語カテゴリに対して特に効果を発揮する、一般化可能なフレームワークを構築し、モデルのロバストネスと一般化性能を向上させること。
• トレーニングとテストセット間の分布シフトを最大化することで、頻度バイアスの影響を分離できるようにする新しいベンチマーク、VG-OODを提案すること。

提案手法

• NICEは2段階の検出によりノイズのあるサンプルを特定する：分布外検出を用いた負のノイズサンプル検出（Neg-NSD）と、密度ベースクラスタリングを用いた正のノイズサンプル検出（Pos-NSD）。
• NICEは重み付きKNNを用いて頑健なソフト述語ラベルを再割り当てすることで、ノイズのある正のサンプルを是正し、ハードラベルを置き換えることでバイアスを低減する。
• NISTは2つの異なるティーチャーモデルを用いたマルチティーチャー知識蒸留を採用する：1つはヘッド述語に偏ったモデル（高再現率）、もう1つはテイル述語に偏らないモデル（高平均再現率）。
• NISTでは動的トレードオフ重み付け戦略を採用し、カテゴリグループ（ヘッド、ボディ、テイル）に応じて損失寄与度を適応的に調整することで、バイアスを抑制し、知識の融合を改善する。
• このフレームワークはモデルに依存せず、Motifs や VCTree などの任意のSGGアーキテクチャにスムーズに統合可能である。
• VG-OODベンチマークは、Visual Genomeを再編成することで、トレーニングとテストセット間の述語分布シフトを最大化し、頻度バイアスの影響を分離するように構築されている。

実験結果

リサーチクエスチョン

• RQ1 一般的に誤って付与される、同義語のランダム付与、および負のノイズ関係という3種類のノイズラベルは、SGGモデルの性能とバイアスにどのように影響を与えるか？
• RQ2 一元的なフレームワークは、SGGデータセットにおける複数種類のノイズラベルを効果的に検出し是正できるか？
• RQ3 動的重み付けを伴うマルチティーチャー蒸留は、SGGにおけるモデルの一般化性能を向上させ、頻度バイアスを低減できるか？
• RQ4 提案されたNICESTフレームワークは、低頻度（テイル）述語カテゴリの性能をどの程度向上させるか？
• RQ5 新しいVG-OODベンチマークは、頻度バイアスを超えたモデルの一般化性能を分離して評価するためにどの程度有効か？

主な発見

• VCTreeを学生モデルとして使用した場合、NICESTはVGで45.9%、VG-OODで40.8%の平均再現率を達成し、ベースラインモデルを顕著に上回った。
• NISTにおけるグループ重み付け戦略が最良の性能を示し、VG-OODで40.8%の平均再現率を達成した。これはヘッドとテイルカテゴリの学習をバランスよく行う有効性を証明している。
• NICEは、前回のNSC手法と比較して、mR@100を33.0%から33.1%へ、R@100を56.9%から58.3%へ改善し、洗練されたラベル是正の有効性を示した。
• NISTの蒸留戦略は、MotifsおよびVCTreeの両方のベースラインモデルで一貫して性能向上をもたらし、強力な一般化性能と普遍性を示した。
• 定性的な結果から、NICESTは粗い述語（例：'near'）への過剰依存を低減し、細かく正確な関係（例：'sitting on'）の予測を向上させた。
• Neg-NSDは、123の以前未確認の視覚的関係カテゴリ（例：自転車同士の'against'）を効果的に同定し、テイルカテゴリの多様性とカバレッジを向上させた。