[論文レビュー] AutoAssign: Differentiable Label Assignment for Dense Object Detection

Benjin Zhu, Jianfeng Wang+5 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Neural Network Applications参考文献 29被引用数 194

ひとこと要約

AutoAssign は密集物体検出のための完全微分可能で外観認識を備えたラベル割り当てを導入し、空間割り当てと尺度割り当てを二つのウェイトモジュール（Center Weighting と Confidence Weighting）で共同最適化し、MS COCO および他データセットで従来のサンプリング戦略を上回る。

ABSTRACT

Determining positive/negative samples for object detection is known as label assignment. Here we present an anchor-free detector named AutoAssign. It requires little human knowledge and achieves appearance-aware through a fully differentiable weighting mechanism. During training, to both satisfy the prior distribution of data and adapt to category characteristics, we present Center Weighting to adjust the category-specific prior distributions. To adapt to object appearances, Confidence Weighting is proposed to adjust the specific assign strategy of each instance. The two weighting modules are then combined to generate positive and negative weights to adjust each location's confidence. Extensive experiments on the MS COCO show that our method steadily surpasses other best sampling strategies by large margins with various backbones. Moreover, our best model achieves 52.1% AP, outperforming all existing one-stage detectors. Besides, experiments on other datasets, e.g., PASCAL VOC, Objects365, and WiderFace, demonstrate the broad applicability of AutoAssign.

研究の動機と目的

• 手作りのラベル割り当てへの依存を減らし、正例/負例のサンプリングを完全にデータ駆動にする。
• カテゴリ固有の中心ウェイト priors を開発し、スペース中心の分布を捉える。
• 各オブジェクトの外観とスケールに適応するインスタンス認識型の信頼度ウェ weighting を開発する。
• 二つのウェイトモジュールを組み合わせて、トレーニング時に微分可能な正負ウェイトマップを作成する。
• MS COCO での最先端性能を示し、データセット間のロバスト性を示す。

提案手法

• アンカーフリ-detector のフレームワークを採用し、学習時には全ての位置をground-truth ボックス内のFPNレベルで候補の positives および negatives として扱う。
• Center Weighting: カテゴリ固有のガウス様 priors G(d|μ,σ) を学習し、カテゴリごとに中心 priors を適応させ、ボックス中心までのダウンスケール距離で正規化する。
• Confidence Weighting: 分類信頼度（Implicit-Objectness 分岐を含む）と位置合わせ信頼度を結合したジョイント信頼度 P_i を計算し、局在化損失を尤度へ変換してシームレスに統合する。
• 正の重み w_i^+ は、オブジェクト領域内の全ての候補位置での信頼度 C(P_i^+) と G(d_i) の積を正規化して得る。
• 負の重み w_i^- は 1 - f(iou_i) を用いて算出し、iou_i は位置 i の任意の GT ボックスとの最大 IoU、背景領域を強調する。
• 最終損失は L = -sum_n log(sum_{i in S_n} w_i^+ P_i^+) - sum_k log(1 - w_k^- P_k^-)、負の部分には focal loss を適用し、推論時には使用されない微分可能なウェ weighting 機構を用いる。
• 主要方程式には Gaussian center weighting G(d|μ,σ) と、正/負の信頼度形式 P_i^+, P_i^- の正規化と重み付けスキームが含まれる（方法論に詳述）。

実験結果

リサーチクエスチョン

• RQ1 完全にデータ駆動で微分可能なラベル割り当ては、固定的または部分的に動的なサンプリング戦略より検出性能を向上させるか？
• RQ2 Center Weighting によるカテゴリ特有 priors と、Appearance/Adaptation を伴うインスタンス特異的な Confidence Weighting が、空間割り当てと尺度割り当てを最適化する上でどのように相互作用するか？
• RQ3 提案ウェイトフレームワークは、分布が異なる VOC、Objects365、WiderFace などのデータセット間でハイパーパラメータ調整なしに一般化できるか？
• RQ4 Implicit-Objectness 分岐がノイズ候補のフィルタリングと背景からの分離を改善する影響はどれほどか？
• RQ5 標準的なベースラインでの AutoAssign の上限性能はどれくらいか（例: MS COCO）
• RQ6 （補足）一般的なバックボーンを用いた場合の上限性能。

主な発見

AP	AP50	AP75	AP_S	AP_M	AP_L
52.1	69.6	58.0	33.9	54.0	64.0

• AutoAssign は MS COCO の一次検出器の中で最先端の性能を達成し、代表的な最良モデルは 2x スケジュールとマルチスケールテストで COCO test-dev で 52.1 AP を達成。
• Center Weighting は中心 priors をカテゴリ特有の分布に合わせることで AP を大幅に改善（歴然としたケースで priors が object の形状に合わせて移動・伸長する場合を含む）。
• Confidence Weighting は、中心 priors のみでは不十分な場合でも、オブジェクトの外観とスケールに基づいて空間位置を動的に重み付けすることで AP をさらに向上させる。
• Center Weighting と Confidence Weighting の組み合わせは最良の性能（AutoAssign）を生み出し、アンカー、IoU閾値、または top-k サンプリングに依存する従来手法を上回る。
• AutoAssign はハイパーパラメータの再調整なしにデータセット間で堅牢に一般化し、PASCAL VOC、Objects365、WiderFace などの分布で固定/部分的動的手法を上回る。