[論文レビュー] Learning from Noisy Anchors for One-stage Object Detection

Hengduo Li, Zuxuan Wu+4 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Neural Network Applications参考文献 27被引用数 6

ひとこと要約

本論文では、回帰および分類ネットワークの出力から導出される動的クリーニネススコアを各アーキテクチャに導入することで、1段階オブジェクト検出器におけるラベルノイズを低減する手法を提案する。このスコアはソフトラベルおよび再重み付け要因として機能し、追加の推論コストなしに、COCO上での複数のバックボーンでRetinaNetの性能を約2%向上させる。

ABSTRACT

State-of-the-art object detectors rely on regressing and classifying an extensive list of possible anchors, which are divided into positive and negative samples based on their intersection-over-union (IoU) with corresponding groundtruth objects. Such a harsh split conditioned on IoU results in binary labels that are potentially noisy and challenging for training. In this paper, we propose to mitigate noise incurred by imperfect label assignment such that the contributions of anchors are dynamically determined by a carefully constructed cleanliness score associated with each anchor. Exploring outputs from both regression and classification branches, the cleanliness scores, estimated without incurring any additional computational overhead, are used not only as soft labels to supervise the training of the classification branch but also sample re-weighting factors for improved localization and classification accuracy. We conduct extensive experiments on COCO, and demonstrate, among other things, the proposed approach steadily improves RetinaNet by ~2% with various backbones.

研究の動機と目的

• IoUしきい値に基づく二値ラベル（ポジティブ／ネガティブ）によるアーキテクチャラベルに内在するノイズ、特に部分的に重複するが意味的に重要なアーキテクチャを誤ってラベル付けする問題に対処すること。
• ノイズの多いラベルの影響を軽減するため、ハードな二値ラベルの代わりに連続的で学習可能なクリーニネススコアを導入すること。
• 予測された信頼性に基づいてアーキテクチャを動的に重み付けすることで、分類および局所化の精度を向上させること。
• 特にNMS処理中に発生する分類信頼度と局所化精度の乖離を是正すること。
• 推論時に追加計算を要しない実用的な手法を構築すること。

提案手法

• 各アーキテクチャに対して、局所化精度（回帰ヘッドからの出力）と分類信頼度（分類ヘッドからの出力）の組み合わせとしてクリーニネススコアを計算する。
• クリーニネススコアは分類ブランチの教師信号としてソフトラベルとして機能し、二値ラベルに置き換えられ、ノイズの多いサンプルにおける過信を軽減する。
• スコアは分類および回帰損失関数の非線形再重み付け要因として用いられ、トレーニング中に高品質なアーキテクチャを優先する。
• この手法はエンドツーエンド微分可能であり、推論時に追加の計算コストを発生させない。
• ネットワークの予測をラベル品質の代理として用いることで、ラベルの不確実性を暗黙的にモデル化する。
• 局所化と分類のブランチを出力同士の相関関係を活用することで統合し、トレーニング時の整合性と推論時の整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク出力から導出される連続的かつ動的なクリーニネススコアは、1段階オブジェクト検出におけるノイズの多いアーキテクチャラベルの影響を効果的に低減できるか？
• RQ2 クリーニネススコアに基づくソフトラベルの使用は、分類ヘッドの一般化性能を向上させるとともに過信を軽減するか？
• RQ3 アーキテクチャをクリーニネススコアに基づいて再重み付けすることで、局所化および分類性能がどの程度向上するか？
• RQ4 提案手法は、NMS処理中に分類信頼度と局所化精度の乖離を低減するか？
• RQ5 この手法は、多様なオブジェクトサイズ、IoUしきい値、バックボーンアーキテクチャにおいて一貫して性能向上をもたらすか？

主な発見

• 提案手法は、COCOデータセット上でのさまざまなバックボーンでRetinaNetのAP（平均精度）を約2%向上させ、一貫した向上効果を示した。
• NMS後の平均IoUは提案手法で0.921に上昇したのに対し、ベースラインは0.914であった。これは、分類信頼度と局所化精度の整合性が向上したことを示している。
• 分類信頼度とIoUのピアソン相関係数は、ベースラインの0.169から提案手法の0.194に上昇し、信頼度と局所化品質の整合性が向上したことを示している。
• 本手法は曇りや不要なオブジェクトをカバーする曇りのアーキテクチャ（曇りのアーキテクチャ）を効果的に低重み化しており、ノイズの多い提案に対して高いロバストネスを示している。
• 定性的な分析により、意味的関連性が低いがIoUが高いアーキテクチャが低重み化されていることが確認され、モデルがラベルノイズを検出し、低減できることを裏付けた。
• 本手法は、さまざまなIoUしきい値、オブジェクトサイズ、最大予測数においても性能向上を維持しており、広範な適用可能性を示している。