[論文レビュー] Oriented Object Detection with Transformer

Teli Ma, Mingyuan Mao+7 more|arXiv (Cornell University)|Jun 6, 2021

Advanced Neural Network Applications被引用数 31

ひとこと要約

この論文は O2DETR を紹介します、任意指向オブジェクト検出のためのエンドツーエンドの Transformer ベース検出器で、エンコーダに深度wise separable convolutions を用いて自己注意を置換し、DOTA データセットで競争力のある mAP を達成し、単純なファインチューニングヘッドからの恩恵で性能向上。

ABSTRACT

Object detection with Transformers (DETR) has achieved a competitive performance over traditional detectors, such as Faster R-CNN. However, the potential of DETR remains largely unexplored for the more challenging task of arbitrary-oriented object detection problem. We provide the first attempt and implement Oriented Object DEtection with TRansformer ($\bf O^2DETR$) based on an end-to-end network. The contributions of $ m O^2DETR$ include: 1) we provide a new insight into oriented object detection, by applying Transformer to directly and efficiently localize objects without a tedious process of rotated anchors as in conventional detectors; 2) we design a simple but highly efficient encoder for Transformer by replacing the attention mechanism with depthwise separable convolution, which can significantly reduce the memory and computational cost of using multi-scale features in the original Transformer; 3) our $ m O^2DETR$ can be another new benchmark in the field of oriented object detection, which achieves up to 3.85 mAP improvement over Faster R-CNN and RetinaNet. We simply fine-tune the head mounted on $ m O^2DETR$ in a cascaded architecture and achieve a competitive performance over SOTA in the DOTA dataset.

研究の動機と目的

• 回転アンカーや後処理の改良を必要とせず、指向オブジェクト検出を動機づける。
• 角度予測を伴う回転境界ボックスのためのエンドツーエンドの Transformer 検出器を提案する。
• エンコーダ内で attention を深度方向分離畳み込みに置換することで効率を向上させる。
• DOTA データセットで競争力のある性能を示し、結果を向上させるファインチューニングヘッドを検討する。

提案手法

• オリエンテッドボックスのためにオブジェクトクエリへ角度次元を追加して DETR を拡張する。
• Transformer エンコーダの自己注意を深度方向分離畳み込みに置換してメモリと計算を削減する。
• マルチスケール特徴マップとオブジェクトクエリとエンコーダメモリ間のクロスアテンションを取り入れ、(x, y, w, h, α) を予測する。
• 検出ヘッドで 3 層の MLP と線形層を用いて (x_c, y_c, w, h, α) とクラススコアを出力する。
• 任意で O2DETR の予測を提案として ROI-aligned features 上でヘッドをファインチューニングし、最終境界ボックスと信頼度を改善する。

実験結果

リサーチクエスチョン

• RQ1 回転アンカーなしで、Transformer ベースの検出器をそのまま任意指向オブジェクト検出に直接適用できるか？
• RQ2 エンコーダで自己注意を深度方向分離畳み込みに置換することで、密集・小型・指向オブジェクトに対して精度を維持または向上させつつ効率を改善できるか？
• RQ3 マルチスケール特徴の統合が Transformer フレームワークにおける指向オブジェクト検出の性能に与える影響は？
• RQ4 ROIAlign を用いた軽量なファインチューニングヘッドが、O2DETR を領域提案ネットワークとして使用する際の検出精度をさらに向上させるか？

主な発見

• O2DETR は refinement なしで DOTA で複数の回転検出器より高い mAP を達成し、Faster R-CNN および RetinaNet のベースラインを最大 3.85 mAP 上回る。
• 深度方向分離畳み込み (DSConv) を用いたエンコーダは、密集・小物体のシナリオで自己注意より優れている（例：ResNet-50 で DSConv が 66.10 mAP、Attn が 65.33 mAP）。
• ROIAlign ベースの特徴で O2DETR ヘッドをファインチューニングすると大きな改善を示す（例：単一スケール入力で ResNet-50 の場合 74.47 mAP、マルチスケールで 79.66 mAP）、ポストホックな改善が効果的であることを示す。
• マルチスケール特徴と角度対応のオブジェクトクエリを備えた O2DETR は、DOTA データセットの複数カテゴリにおいて最先端手法と競合する結果を提供する。
• リコール分析は、O2DETR の提案が伝統的な RPN より IoU 閾値を横断して高いリコールを持つことを示し、強力な region-proposal バックボーンとしての利用を裏付ける。