[論文レビュー] Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence

Wenchi Ma, Tianxiao Zhang+1 more|arXiv (Cornell University)|Dec 26, 2021

Advanced Neural Network Applications被引用数 6

ひとこと要約

Miti-DETR は、変換器におけるランク崩壊を軽減するため、入力トークンを各マルチヘッド自己注意層の出力に直接接続する残差自己注意機構を提案する。これにより、COCO オブジェクト検出で収束速度が著しく向上し、平均精度が最大 3% 向上するが、モデルサイズや推論時間に追加コストを要しない。

ABSTRACT

Object Detection with Transformers (DETR) and related works reach or even surpass the highly-optimized Faster-RCNN baseline with self-attention network architectures. Inspired by the evidence that pure self-attention possesses a strong inductive bias that leads to the transformer losing the expressive power with respect to network depth, we propose a transformer architecture with a mitigatory self-attention mechanism by applying possible direct mapping connections in the transformer architecture to mitigate the rank collapse so as to counteract feature expression loss and enhance the model performance. We apply this proposal in object detection tasks and develop a model named Miti-DETR. Miti-DETR reserves the inputs of each single attention layer to the outputs of that layer so that the "non-attention" information has participated in any attention propagation. The formed residual self-attention network addresses two critical issues: (1) stop the self-attention networks from degenerating to rank-1 to the maximized degree; and (2) further diversify the path distribution of parameter update so that easier attention learning is expected. Miti-DETR significantly enhances the average detection precision and convergence speed towards existing DETR-based models on the challenging COCO object detection dataset. Moreover, the proposed transformer with the residual self-attention network can be easily generalized or plugged in other related task models without specific customization.

研究の動機と目的

• 深さが増すにつれて特徴表現が劣化する純粋な自己注意ネットワークに内在するランク崩壊問題に対処すること。
• データやハイパーパrameterチューニングなしで、DETRベースのモデルの訓練安定性と収束速度を向上させること。
• 特に小形および大形オブジェクトの検出性能を向上させることで、グローバル特徴表現を保持すること。
• 変換器ベースのオブジェクト検出および関連タスクに一般化可能なプラグアンドプレイモジュールを開発すること。
• 変換器自体のアーキテクチャ的変更が、モデルサイズや推論コストを増加させることなく、既存手法を上回ることを示すこと。

提案手法

• 各マルチヘッド自己注意層の入力をその出力に直接接続する残差接続を導入し、前向きネットワークを迂回する。
• スキップ接続により自己注意特徴を保持することで、自己注意出力がランク1行列に収束するのを防ぐ。
• 自己注意のインダクティブバイアスによるランク1収束を是正することで、深層ネットワークにおいても表現力が維持される残差自己注意ネットワークを構築する。
• アーキテクチャの大幅な見直しを伴わずに、DETRの変換器エンコーダおよびデコーダスタックに残差自己注意モジュールを適用する。
• COCO で標準的な訓練プロトコルに従い、エンドツーエンドでモデルを訓練し、収束性と検出性能を評価する。
• ベースラインの DETR と同一のパラメータ数および推論時間を維持することで、既存の DETR フレームワークとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 残差自己注意機構は、自己注意ネットワークにおけるランク崩壊を軽減し、深層変換器における特徴表現を向上させることができるか？
• RQ2 提案された残差接続は、DETRベースのオブジェクト検出器における収束を加速させ、訓練を安定化させることができるか？
• RQ3 Miti-DETR は、特に小形および大形オブジェクトにおいて、COCO での検出精度をどの程度向上させるか？
• RQ4 残差自己注意モジュールは、再トレーニングやアーキテクチャ変更なしに、他の変換器ベースのモデルへ一般化可能か？
• RQ5 ベースラインの DETR や UP-DETR と比較して、性能向上を実現しながらも、推論速度とモデルサイズを維持できるか？

主な発見

• Miti-DETR は、COCO データセット上で元の DETR と比較して平均平均精度（AP）を約 3% 向上させ、IoU しきい値 0.75 の AP75 では 4% の向上を達成した。
• 収束が著しく速く、学習率スケジュール中でも安定した訓練曲線が得られ、性能の発散は観察されなかった。
• 可視化結果において、誤検出（例：タイや飛行機の誤分類）が減少しており、局所化精度の向上が示された。
• パラメータ数と推論時間は DETR と同一であり、UP-DETR とは異なりモデルサイズが増加せず、速度も低下していない。
• 限られたエポック数や GPU リソース下でも、UP-DETR より優れたロバスト性を示した。
• 残差自己注意機構により、特に小形オブジェクトの検出に有益なグローバル特徴表現が向上し、性能向上も最も顕著に現れた。