[論文レビュー] Rethinking Transformer-based Set Prediction for Object Detection

Zhiqing Sun, Shengcao Cao+2 more|arXiv (Cornell University)|Nov 21, 2020

Advanced Neural Network Applications被引用数 8

ひとこと要約

本稿では、DETRにおける不安定なハンガリアン損失や非効率なクロスアテンションといった主な限界を解消することで、トレーニング収束を加速し、精度を向上させる、2つの改善型Transformerベースのセット予測モデル、TSP-FCOSおよびTSP-RCNNを提案する。これらのモデルは、トレーニング時間を500エポックから50エポック未塔に短縮する一方で、COCOでのSOTA APスコアを達成しており、DETR、FCOS、Faster R-CNNを上回る検出精度を示している。

ABSTRACT

DETR is a recently proposed Transformer-based method which views object detection as a set prediction problem and achieves state-of-the-art performance but demands extra-long training time to converge. In this paper, we investigate the causes of the optimization difficulty in the training of DETR. Our examinations reveal several factors contributing to the slow convergence of DETR, primarily the issues with the Hungarian loss and the Transformer cross-attention mechanism. To overcome these issues we propose two solutions, namely, TSP-FCOS (Transformer-based Set Prediction with FCOS) and TSP-RCNN (Transformer-based Set Prediction with RCNN). Experimental results show that the proposed methods not only converge much faster than the original DETR, but also significantly outperform DETR and other baselines in terms of detection accuracy.

研究の動機と目的

• End-to-endのTransformerベースの物体検出器としての最先端技術であるDETRにおける、遅い収束の根本的原因を解明すること。
• DETRにおけるハンガリアン損失とクロスアテンション機構に起因する最適化の難しさに対処すること。
• 後処理ステップを排除した、より高速で正確なTransformerアーキテクチャに基づくセット予測モデルの開発。
• 特に小さな物体の検出性能を向上させるとともに、DETRと比較してトレーニング時間を短縮すること。
• 単一モデル・単一スケール評価におけるCOCO 2017ベンチマーク上で、提案手法の有効性を検証すること。

提案手法

• FCOSおよびFaster R-CNNアーキテクチャをインspiredとして、特徴マップのピラミッドを備えたエンコーダーのみのDETRの改善版として、TSP-FCOSおよびTSP-RCNNを提案する。
• TSP-FCOSに、Transformerエンコーダー内でのマルチレベル特徴処理を強化するための、新規の注目領域（FoI）選択機構を導入する。
• ハンガリアン損失の安定化とトレーニング収束の加速を目的とした、新しい二部マッチング方式を設計する。
• アブレーションおよび収束分析のため、ランダムクロップ増強なしの36エポック（3×）トレーニングスケジュールを用いる。
• SOTAモデルとの比較のため、DETRと同一の96エポック（8×）スケジュールにランダムクロップを適用する。
• 可変畳み込みをTSPフレームワークに統合し、互換性と性能向上の有効性を評価する。

Figure 1: AP results on COCO validation set: original DETR v.s. matching distilled DETR. We can see that matching distillation accelerates the training of DETR in the first few epochs.

実験結果

リサーチクエスチョン

• RQ1 DETRのトレーニング中に遅い収束が生じる主な要因は何か。特に損失関数とアテンション機構の観点から。
• RQ2 DETRからクロスアテンションモジュールを除去すると、特に小さな物体と大きな物体の両方において、性能にどのような影響を与えるか。
• RQ3 修正された二部マッチング方式は、Transformerベースのセット予測におけるトレーニングの安定化と収束速度の向上を実現できるか。
• RQ4 TSP-FCOSおよびTSP-RCNNフレームワークは、DETRおよびベースライン検出器と比較して、どの程度検出精度とトレーニング速度を向上させられるか。
• RQ5 TSPモデルは、可変畳み込みおよび異なるバックボーンアーキテクチャとどの程度一般化可能か。

主な発見

• TSP-RCNNは、ResNet-101-DCNを用いてCOCO 2017で51.9のSOTA APを達成し、DETR-DC5および他のベースラインを上回った。
• TSP-FCOSおよびTSP-RCNNは50エポック未満で収束し、DETRの500エポックと比較して顕著に高速化された一方で、より高い精度を達成した。
• TSP-RCNNは、ResNet-101-DCNを用いて47.4のAPを達成し、同じトレーニングスケジュール下でFaster R-CNN+およびDeformable DETRを上回った。
• アブレーションスタディの結果、TSP-RCNNにおける性能向上は、位置エンコーディングの改善よりもセット予測損失の改善に起因していることが確認された。
• TSP-RCNN+は、ResNet-101-DCNを用いて51.9のAPを達成し、短いトレーニングスケジュールでも強力な性能を示した。
• 提案手法は可変畳み込みと高い相性を示し、組み合わせることでさらに性能が向上した。

Figure 2: Sparsity (negative entropy) of Transformer cross-attention in each layer, obtained by evaluation on the COCO validation data. Different line styles represent different layers. We can see that the sparsity consistently increases, especially for the $1^{st}$ cross-attention layer between enc