[論文レビュー] Combating Noise: Semi-supervised Learning by Region Uncertainty Quantification

Zhenyu Wang, Yali Li+2 more|arXiv (Cornell University)|Nov 1, 2021

Anomaly Detection Techniques and Applications参考文献 27被引用数 9

ひとこと要約

本稿では、偽ラベル領域の領域不確実性を定量化することで、ノイズのあるアノテーションによる性能低下を軽減するノイズ耐性のある半教師ありオブジェクト検出手法を提案する。不確実性を考慮したソフトターゲットを導入し、複数ピークの確率分布を促進することで、一般化性能を向上させ、SOTAの性能を達成し、PASCAL VOCでは教師ありベースラインを6.2%上回り、MS COCOでは4.2%上回った。

ABSTRACT

Semi-supervised learning aims to leverage a large amount of unlabeled data for performance boosting. Existing works primarily focus on image classification. In this paper, we delve into semi-supervised learning for object detection, where labeled data are more labor-intensive to collect. Current methods are easily distracted by noisy regions generated by pseudo labels. To combat the noisy labeling, we propose noise-resistant semi-supervised learning by quantifying the region uncertainty. We first investigate the adverse effects brought by different forms of noise associated with pseudo labels. Then we propose to quantify the uncertainty of regions by identifying the noise-resistant properties of regions over different strengths. By importing the region uncertainty quantification and promoting multipeak probability distribution output, we introduce uncertainty into training and further achieve noise-resistant learning. Experiments on both PASCAL VOC and MS COCO demonstrate the extraordinary performance of our method.

研究の動機と目的

• 未ラベルデータからの性能向上がノイズのある偽ラベルの影響を受ける半教師ありオブジェクト検出の課題に対処すること。
• 欠落した真の値、分類、アサインメントエラーといった異なる種類のノイズが領域提案およびモデルの一般化に与える影響を調査すること。
• ノイズのある偽ラベルに感受性を示す不確実性評価指標を、より高い耐性を実現するために開発すること。
• 不確実性をソフトターゲットに組み込む学習目的関数を設計し、不確実な領域での過信を低減すること。
• クラス間の競合を排除し、複数ピークの確率分布を可能にすることで、モデルの一般化性能を向上させること。

提案手法

• 偽ラベルノイズの強度の変化に対する領域提案の感受性に基づき、$ u(\beta) $ という領域不確実性評価指標を提案する。
• 学習時間の経過に伴い、モデルの信頼性とノイズへの露出を反映させるために、動的 $ \beta $ を用いて不確実性推定を適応的にスケーリングする。
• 不確実性評価指標 $ u(\beta) $ を用いて交差エントロピー損失を重み付けし、最適化中にノイズの影響を低減する不確実性を考慮したソフトターゲットを構築する。
• クラス間の競合を排除することで、複数ピークの確率分布を可能にし、不確実な予測に対する過信を防ぐ。
• 不確実性を考慮したソフトターゲットとファーコンスロスを組み合わせ、ノイズの影響をさらに抑制し、ハード例のマイニングを強化する。
• 教師モデルが偽ラベルを生成し、学生モデルがラベル付きおよび未ラベルデータの両方に対して不確実性を考慮した監視のもとで学習する、教師-学生フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 偽ラベルにおけるどの種類のノイズが半教師ありオブジェクト検出の性能を最も著しく低下させるか？
• RQ2 ノイズのある偽ラベルに感受性を示す不確実性を、領域レベルでどのように定量化できるか？
• RQ3 学習目的関数に不確実性を組み込むことで、検出における偽ラベルのノイズに強い性能向上が達成できるか？
• RQ4 標準的な交差エントロピーとは異なり、複数ピークの確率分布を許容することで、ノイズのある予測への過適合が緩和されるか？
• RQ5 不確実性の定量化が、PASCAL VOC や MS COCO といった標準ベンチマークにおけるモデルの一般化性能および性能に与える影響は何か？

主な発見

• 提案手法は、MS COCO で49.3% AP および80.6% AP50 を達成し、教師ありベースラインを4.2%上回った。
• PASCAL VOC では、教師ありベースラインを6.2%上回るAP向上を達成し、ノイズのある未ラベルデータにおける強力な一般化性能を示した。
• 不確実性を考慮したソフトターゲットにより、AP50は3.0%向上し、AP75は5%以上向上した。これは、局所化の耐性が向上したことを示している。
• 可視化の結果、クリーンな領域提案はノイズのあるものよりも一貫して $ u(\beta) $ の値が低く、信頼性のある領域と信頼性の低い領域を識別できるという指標の有効性が裏付けられた。
• ハイパーパrameter $ C $、$ \Delta_f $、$ q $ の設定変更に対しても性能が安定しており、ハイパーパrameterの変動に強く、ロバストであることが確認された。
• クラス間の競合を排除し、複数ピークの分布を可能にすることで、不確実な領域における真のクラスの確率が向上し、分類および局所化性能が両方向上した。