[論文レビュー] AdaMixer: A Fast-Converging Query-Based Object Detector

Ziteng Gao, Limin Wang+2 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

AdaMixerは、適応的3次元特徴抽出と動的MLP-Mixer復号を用いてクエリの適応性を向上させることで、高速収束を実現するクエリベースのオブジェクト検出器であり、追加の注意機構エンコーダーや明示的なピラミッドネットワークを必要とせず、ResNeXt-Swin-Sを用い12エポックの学習でMS COCOでSOTAのAP 51.3を達成した。

ABSTRACT

Traditional object detectors employ the dense paradigm of scanning over locations and scales in an image. The recent query-based object detectors break this convention by decoding image features with a set of learnable queries. However, this paradigm still suffers from slow convergence, limited performance, and design complexity of extra networks between backbone and decoder. In this paper, we find that the key to these issues is the adaptability of decoders for casting queries to varying objects. Accordingly, we propose a fast-converging query-based detector, named AdaMixer, by improving the adaptability of query-based decoding processes in two aspects. First, each query adaptively samples features over space and scales based on estimated offsets, which allows AdaMixer to efficiently attend to the coherent regions of objects. Then, we dynamically decode these sampled features with an adaptive MLP-Mixer under the guidance of each query. Thanks to these two critical designs, AdaMixer enjoys architectural simplicity without requiring dense attentional encoders or explicit pyramid networks. On the challenging MS COCO benchmark, AdaMixer with ResNet-50 as the backbone, with 12 training epochs, reaches up to 45.0 AP on the validation set along with 27.9 APs in detecting small objects. With the longer training scheme, AdaMixer with ResNeXt-101-DCN and Swin-S reaches 49.5 and 51.3 AP. Our work sheds light on a simple, accurate, and fast converging architecture for query-based object detectors. The code is made available at https://github.com/MCG-NJU/AdaMixer

研究の動機と目的

• クエリベースのオブジェクト検出器における収束遅延と性能限界を改善し、多様なオブジェクトに適応するデコーダーの適応性を高める。
• FPNやTransformerエンコーダーなどの追加モジュールを不要にすることで、アーキテクチャの複雑さを低減する。
• 適応的空間およびスケールワイド特徴抽出と動的コンテンツミキシングを可能にすることで、クエリベースの復号を強化する。
• 最小限の学習時間とシンプルなデータオーグメンテーションで高い精度を達成し、今後の研究の強力なベースラインを提供する。

提案手法

• 各クエリが推定されたオフセットを用いて、空間的位置とスケールレベルの両方で動的に特徴を抽出する適応的3次元特徴抽出を導入する。
• 複数スケールの特徴マップを3次元テンソル（H×W×C）として表現し、抽出時に空間的およびスケールレベルの両方の注目を可能にする。
• サンプリングされた特徴に対してMLP-Mixerを用いた動的カーネルをクエリガイドで適用し、適応的チャネルおよび空間ミキシングを実現する。
• 学習可能なクエリ埋め込みを用いて、空間-スケールの特徴抽出とその後の特徴ミキシングプロセスを両方ガイドする。
• FPNやTransformerエンコーダーなどの追加モジュールを必要とせず、エンドツーエンドで学習可能なデコーダーを設計する。
• 異なるiableかつ効率的な特徴補間を実現するPyTorchのgrid_sampleを用いて、適応的サンプリングを実装する。

Figure 1 : Convergence curves of our AdaMixer, DETR, Deformable DETR and Sparse R-CNN with ResNet-50 as the backbone on MS COCO minival set.

実験結果

リサーチクエスチョン

• RQ1 複雑な補助ネットワークに依存せずに、クエリベースのオブジェクト検出器が高速収束と高い精度を達成できるか？
• RQ2 適応的3次元特徴抽出は、異なるオブジェクトスケールや位置におけるクエリ表現をどのように向上させるか？
• RQ3 動的MLP-Mixer復号は、アーキテクチャの単純さを保ちながら、どの程度特徴ミキシングを強化できるか？
• RQ4 12エポックの学習と最小限のオーグメンテーションで、クエリベース検出器が既存のSOTAモデルを上回れるか？
• RQ5 RoIAlignや可変畳み込みと比較して、提案手法は多スケールモデリングと特徴抽出の柔軟性においてどの程度優れているか？

主な発見

• ResNet-50を用いたAdaMixerは、12エポックの学習とランダムフリップオーグメンテーションでのみ、MS COCO minivalで45.0 APを達成し、DETRとDeformable DETRを上回った。
• 3倍の学習スケジュールと強化されたオーグメンテーションを用い、Swin-Sバックボーンを搭載したAdaMixerは、COCO test-devで51.3 APに到達し、以前のクエリベース検出器を上回った。
• ResNet-50を用いた場合、小サイズオブジェクト（APs）で27.9 APを達成し、細粒度検出において優れた性能を示した。
• ResNeXt-101-DCNを用いたAdaMixerは49.5 APを達成し、より大きなバックボーンでも高いスケーラビリティと性能を示した。
• パラメータ数が多くても、DETRやSparse R-CNNと比較して収束が早く、推論速度も速く（V100で15 FPS）、優れた性能を示した。
• 可視化結果から、クエリや段階ごとにサンプリングポイントの配置が異なることが確認され、非単調な広がり方を示しており、局所化能力の向上が示唆された。

Figure 2 : 3D feature sampling process. A query first obtains sampling points in the 3D feature space and then perform 3D interpolation on these sampling points.