[論文レビュー] NMS Strikes Back

Jeffrey Ouyang-Zhang, Jang Hyun Cho+2 more|arXiv (Cornell University)|Dec 12, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、DETRにおけるエンドツーエンドの1対1ハンガリアンマッチングを、従来の1対多のIoUベースのラベル割り当てと非最大抑制（NMS）に置き換える検出Transformer、DETAを提案する。ResNet50を用いた12エポックでCOCOで50.2 mAPを達成し、標準的なエンドツーエンドTransformerおよび最先端のNMSベースの検出器を上回る性能を発揮する。より多くの陽性サンプルと向上した訓練安定性を活用することで、高性能な検出Transformerにおいて二部マッチングが必須でないことを示している。

ABSTRACT

Detection Transformer (DETR) directly transforms queries to unique objects by using one-to-one bipartite matching during training and enables end-to-end object detection. Recently, these models have surpassed traditional detectors on COCO with undeniable elegance. However, they differ from traditional detectors in multiple designs, including model architecture and training schedules, and thus the effectiveness of one-to-one matching is not fully understood. In this work, we conduct a strict comparison between the one-to-one Hungarian matching in DETRs and the one-to-many label assignments in traditional detectors with non-maximum supervision (NMS). Surprisingly, we observe one-to-many assignments with NMS consistently outperform standard one-to-one matching under the same setting, with a significant gain of up to 2.5 mAP. Our detector that trains Deformable-DETR with traditional IoU-based label assignment achieved 50.2 COCO mAP within 12 epochs (1x schedule) with ResNet50 backbone, outperforming all existing traditional or transformer-based detectors in this setting. On multiple datasets, schedules, and architectures, we consistently show bipartite matching is unnecessary for performant detection transformers. Furthermore, we attribute the success of detection transformers to their expressive transformer architecture. Code is available at https://github.com/jozhang97/DETA.

研究の動機と目的

• 1対1の二部マッチングが高性能な検出Transformerにとって真に必要であるかどうかを調査すること。
• エンドツーエンド検出器における1対多ラベル割り当てと従来のNMSベースの訓練の有効性を、1対1ハンガリアンマッチングと比較すること。
• 検出Transformerの成功要因がアーキテクチャにあるのか、訓練目的にあるのかを特定すること。
• 複雑なマッチングアルゴリズムを必要とせず、性能を維持または向上させるより単純で効率的な訓練目的を開発すること。
• 従来の訓練目的が、現代のトランスフォーマー基盤検出器においてエンドツーエンドマッチングを上回ることを実証すること。

提案手法

• 可変デコードラブル-DETRにおける1対1ハンガリアンマッチング損失を、第1段階および第2段階のヘッドで1対多のIoUベースのラベル割り当てに置き換える。
• 重複する予測を除去するために、従来の検出器から取り入れた重要な要素である標準的なNMSを後処理に適用する。
• 1つの正例としての予測数を制限することで、特に小さな物体に対して訓練を安定化させるためのオブジェクトバランス技術を適用する。
• 公平な比較を保つために、変形可能-DETRと同一のトランスフォーマーエンコーダーおよびデコーダー構造を維持し、訓練目的のみを変更する。
• 固定されたIoU閾値（例：0.5）を用いて、任意の正例ボックスと閾値を超える提案またはクエリに正例ラベルを割り当てる。
• 効率性と性能を評価するため、ResNet50バックボーンを用いて標準的な1×スケジュール（12エポック）でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 同一のアーキテクチャおよび訓練条件下で、NMSを組み合わせた1対多ラベル割り当てが1対1ハンガリアンマッチングを上回るか？
• RQ2 1対多割り当てが1対1二部マッチングよりも優れた性能を発揮できる主な要因は何か？
• RQ3 検出Transformerの成功は、主にトランスフォーマーのアーキテクチャに起因するのか、それとも訓練目的に起因するのか？
• RQ4 複雑なエンドツーエンドマッチングを必要とせず、性能を損なわず、より単純な従来の訓練目的に置き換えられるか？
• RQ5 オブジェクトバランス技術は、特に小さな物体に対してモデルの収束性と性能にどのような影響を与えるか？

主な発見

• DETAはResNet50と1×スケジュール（12エポック）を用いてCOCOで50.2 mAPを達成し、最高のNMSベース検出器（CenterNet2：42.9 mAP）および強力なエンドツーエンド検出器（DINO：49.4 mAP）を上回る。
• 可変デコードラブル-DETRにおいて1対1ハンガリアンマッチングから1対多IoUベースの割り当てに切り替えることで、2.5 mAPの顕著な向上が得られた。
• オブジェクトバランス技術によりmAPが1.4ポイント向上し、特に小さな物体では+2.7 APの大幅な向上を示しており、これは標準マッチングにおけるサンプリングバイアスを軽減していることを示している。
• 短い訓練スケジュールであっても、エンドツーエンド検出器よりも速く収束し、より高い性能を達成する。
• 複数のデータセット（COCO、LVIS）、アーキテクチャ（DETR、可変デコードラブル-DETR）、バックボーンを用いた実験により、一貫した性能向上が確認された。
• アブレーションスタディの結果、デコーダーにおける自己注意はDETAにとって不要である一方で、クロス注意は依然として重要であることが示され、モデルがグローバル最適化ではなく、局所的でクエリベースの推論に恩恵を受けていることが示唆された。