[論文レビュー] A Dual Weighting Label Assignment Scheme for Object Detection

Shuai Li, Chenhang He+2 more|arXiv (Cornell University)|Mar 18, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、分類と局所化の整合性およびサンプルの重要度に基づいて、正例と負例の損失重みを独立して割り当てる二重重み付け（DW）ラベル割り当て方式を提案する。この手法により、検出器の性能が顕著に向上し、追加のコンponentを用いずに1×スケジュール下でCOCOで41.5%のmAPを達成する。単一のFCOS-ResNet-50モデルで、既存手法を大きく上回る性能を発揮する。

ABSTRACT

Label assignment (LA), which aims to assign each training sample a positive (pos) and a negative (neg) loss weight, plays an important role in object detection. Existing LA methods mostly focus on the design of pos weighting function, while the neg weight is directly derived from the pos weight. Such a mechanism limits the learning capacity of detectors. In this paper, we explore a new weighting paradigm, termed dual weighting (DW), to specify pos and neg weights separately. We first identify the key influential factors of pos/neg weights by analyzing the evaluation metrics in object detection, and then design the pos and neg weighting functions based on them. Specifically, the pos weight of a sample is determined by the consistency degree between its classification and localization scores, while the neg weight is decomposed into two terms: the probability that it is a neg sample and its importance conditioned on being a neg sample. Such a weighting strategy offers greater flexibility to distinguish between important and less important samples, resulting in a more effective object detector. Equipped with the proposed DW method, a single FCOS-ResNet-50 detector can reach 41.5% mAP on COCO under 1x schedule, outperforming other existing LA methods. It consistently improves the baselines on COCO by a large margin under various backbones without bells and whistles. Code is available at https://github.com/strongwolf/DW.

研究の動機と目的

• 既存のラベル割り当て手法が正例と負例の重みを束ねているという制限を解決し、学習能力を制限する要因を軽減すること。
• 正例と負例の重要度を別々にモデル化することで、より細分化された監視を可能にし、検出器の性能を向上させること。
• 分類スコアと局所化スコアの整合性を強調することで、評価指標により適したラベル割り当て戦略を構築すること。
• 追加のモジュールや装飾的な要素を必要とせず、さまざまなバックボーンや検出ヘッドにわたる汎用性を向上させること。

提案手法

• 正例と負例の損失重みを分離する二重重み付け（DW）フレームワークを提案し、独立した最適化を可能にする。
• 正例重みを、分類スコアと回帰スコアの整合性関数として定義し、予測が整合するアノテーションを優遇する。
• 負例重みを2つの要素に分解：負例である確率、およびそれが負例である場合の重要度。
• 境界ボックスを回帰マップ上で直接修正するボックスリファインメント操作を導入し、局所化精度を向上させる。
• 予測の整合性に基づいて、類似するIoUまたは分類スコアを持つアノテーションを区別する動的重み付け機構を採用する。
• 正例と負例の重みを別々に学習する損失定式化を採用し、より判別力のある監視を実現する。

実験結果

リサーチクエスチョン

• RQ1 正例と負例の重み付けを分離することで、オブジェクト検出におけるラベル割り当てをどのように改善できるか？
• RQ2 オブジェクト検出における正例と負例の重要度に最も影響を与える要因は何か？
• RQ3 正例と負例の重みを別々にモデル化することで、さまざまなバックボーンや検出ヘッドにわたる一般化性能が向上するか？
• RQ4 分類スコアと局所化スコアの整合性が、学習効果にどのように影響するか？
• RQ5 二重重み付け方式により、曖昧または容易なサンプルの影響を軽減し、難易度の高いサンプルの学習を強化できるか？

主な発見

• 提案手法のDWは、1×スケジュール下で単一のFCOS-ResNet-50検出器を用いてCOCOで41.5%のmAPを達成し、新たなSOTAを樹立した。
• GFL や VFL と比較して、追加のモジュールを用いずに、ResNet-50、ResNet-101、ResNeXt-101-64x4d といったすべてのバックボーンアーキテクチャでベースライン検出器を大幅に改善した。
• ボックスリファインメントを導入した場合、ResNet-50を用いてCOCOで42.2%のmAPを達成し、さらなる性能向上を実現した。
• ResNeXt-101-64x4dを用いた場合、DWは48.2%のmAPを達成し、GFLを2.2ポイント、VFLを0.7ポイント上回った。
• TOODヘッドと組み合わせた場合、DWは49.8%のmAPを達成し、TOODを1.5ポイント上回り、優れた一般化能力を示した。
• 可視化結果から、DWは類似するIoUや分類スコアを持つアノテーションに対し、GFL や VFL とは異なり、明確に異なる（正例, 負例）重みペアを割り当てていることがわかった。