[論文レビュー] Visual Transformer for Object Detection

Michael Ying Yang|arXiv (Cornell University)|Jun 1, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本論文では、グローバルなコンテキストモデリングとオブジェクト定位を向上させるために重複する画像パッチを用いる、ビジョントランスフォーマーに基づくオブジェクト検出器、DetTransNetを提案する。従来の畳み込み層を自己注意メカニズムに置き換え、特徴豊かさを最適化するパッチング戦略を採用することで、COCOでSOTAの45.4 mAPを達成し、De-DETRを1.6 mAP上回った。

ABSTRACT

Convolutional Neural networks (CNN) have been the first choice of paradigm in many computer vision applications. The convolution operation however has a significant weakness which is it only operates on a local neighborhood of pixels, thus it misses global information of the surrounding neighbors. Transformers, or Self-attention networks to be more specific, on the other hand, have emerged as a recent advance to capture long range interactions of the input, but they have mostly been applied to sequence modeling tasks such as Neural Machine Translation, Image captioning and other Natural Language Processing tasks. Transformers has been applied to natural language related tasks and achieved promising results. However, its applications in visual related tasks are far from being satisfying. Taking into consideration of both the weaknesses of Convolutional Neural Networks and those of the Transformers, in this paper, we consider the use of self-attention for discriminative visual tasks, object detection, as an alternative to convolutions. In this paper, we propose our model: DetTransNet. Extensive experiments show that our model leads to consistent improvements in object detection on COCO across many different models and scales, including ResNets, while keeping the number of parameters similar. In particular, our method achieves a 1.2% Average Precision improvement on COCO object detection task over other baseline models.

研究の動機と目的

• 畳み込み演算を自己注意メカニズムに置き換えることで、CNNがグローバルな画像コンテキストを捉える能力に制限を受ける問題に対処する。
• 特に小さなオブジェクトにおいて標準的なビジョントランスフォーマーの性能が低い問題を、パッチング戦略の再設計によって克服する。
• パrameter数が同程度のCNNベースの検出器と同等またはそれを上回る精度を達成するビジョントランスフォーマー基盤のオブジェクト検出器を開発する。
• 重複パッチを活用してより豊かな局所的およびグローバル特徴表現を実現することで、学習の効率性と一般化性能を向上させる。

提案手法

• 隣接するパッチとmピクセルを共有する重複パッチを導入し、局所構造モデリングと特徴の連続性を向上させる。
• 学習可能な位置埋め込みを備えたビジョントランスフォーマーバックボーンを採用し、重複パッチの系列を処理することで、画像全体にわたる長距離注意を可能にする。
• Faster R-CNNと同様に、完全畳み込み層を用いた領域提案ネットワーク（RPN）を採用し、ViTエンコーダからの特徴を入力として用いる。
• ハイブリッドトレーニング戦略を採用：まずRPNを事前学習し、その後Adam最適化法と重み減衰を用いてViTとRPNを共同で微調整する。
• COCOデータセットの小さなサイズに対応するため、ImageNetおよびJFTで大規模な事前学習を実施して一般化性能を向上させる。
• 空間次元を平坦化し、モデルの隠れ次元に投影するパッチプロジェクションヘッドを採用し、トランスフォーマーの入力系列を形成する。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマー基盤のオブジェクト検出器は、Faster R-CNNのようなCNNベースの検出器を上回る精度を達成できるか？
• RQ2 ビジョントランスフォーマーに重複パッチを使用することで、特徴表現と検出性能が向上し、特に小さなオブジェクトに対して効果的か？
• RQ3 畳み込みのインダクティブバイアスに依存せずに、純粋なトランスフォーマーアーキテクチャがオブジェクト検出で強力な性能を発揮できるか？
• RQ4 標準的な非重複パッチと比較して、提案された重複パッチング法は、学習効率性および一般化性能において優れているか？

主な発見

• DetTransNetは、COCO 2017オブジェクト検出データセットで45.4 mAPを達成し、新たなSOTAを樹立した。
• De-DETRより1.2%、前回の最良ベースラインであるDe-DETRより1.6%のmAP向上を達成した。
• 重複パッチング法により、小さなオブジェクトの検出性能が向上し、AP_smallはDe-DETRの21.2から22.5に上昇した。
• パrameter数をResNetベースの検出器と同等に維持しており、性能を犠牲にすることなく効率性を確保した。
• ImageNetおよびJFTでの事前学習が性能を顕著に向上させた。これは、ビジョントランスフォーマーにおける大規模事前学習の重要性を示している。
• アブレーションスタディにより、重複パッチが標準的なパッチングと比較して特徴の豊かさを向上させるとともに、学習の不安定性を低減することが確認された。