[論文レビュー] PnP-DETR: Towards Efficient Visual Analysis with Transformers

Tao Wang, Yuan, Li+3 more|arXiv (Cornell University)|Sep 15, 2021

Advanced Neural Network Applications参考文献 32被引用数 4

ひとこと要約

本稿では、トランスフォーマーを用いた効率的な視覚分析のための、空間的に適応可能な計算割り当てフレームワークであるPnP-DETRを提案する。学習可能なポールアンドプール（PnP）サンプリングモジュールを導入することで、細粒度のオブジェクト特徴と粗い背景コンテキストを効果的に選択的に抽出し、再訓練を伴わずに最先端の効率性と性能のトレードオフを達成している。これにより、計算制約が変化する状況下でも動的推論が可能であり、オブジェクト検出、セグメンテーション、認識タスクにおいて高い精度を維持できる。

ABSTRACT

Recently, DETR pioneered the solution of vision tasks with transformers, it directly translates the image feature map into the object detection result. Though effective, translating the full feature map can be costly due to redundant computation on some area like the background. In this work, we encapsulate the idea of reducing spatial redundancy into a novel poll and pool (PnP) sampling module, with which we build an end-to-end PnP-DETR architecture that adaptively allocates its computation spatially to be more efficient. Concretely, the PnP module abstracts the image feature map into fine foreground object feature vectors and a small number of coarse background contextual feature vectors. The transformer models information interaction within the fine-coarse feature space and translates the features into the detection result. Moreover, the PnP-augmented model can instantly achieve various desired trade-offs between performance and computation with a single model by varying the sampled feature length, without requiring to train multiple models as existing methods. Thus it offers greater flexibility for deployment in diverse scenarios with varying computation constraint. We further validate the generalizability of the PnP module on panoptic segmentation and the recent transformer-based image recognition model ViT and show consistent efficiency gain. We believe our method makes a step for efficient visual analysis with transformers, wherein spatial redundancy is commonly observed. Code will be available at \url{https://github.com/twangnh/pnp-detr}.

研究の動機と目的

• トランスフォーマーに基づくオブジェクト検出器（例：DETR）における、全特徴マップ処理に伴う高い計算コストと、空間的冗長性の問題に対処すること。
• 空間的重要性に基づいて計算を動的に割り当てる、汎用的でエンドツーエンドトレーニング可能なモジュールを構築すること。これにより、背景領域における冗長な計算を低減する。
• 複数のバージョンを再訓練せずに、1つのモデル内で精度と推論効率の柔軟なトレードオフを実現すること。
• PnPモジュールの汎用性を、オブジェクト検出、パノプティックセグメンテーション、画像認識を含む複数のビジョンタスクにおいて検証すること。

提案手法

• 入力特徴マップを2つの成分に要約する学習可能なポールアンドプール（PnP）サンプリングモジュールを提案：細粒度のオブジェクト特徴ベクトル（ポール）と、粗い背景コンテキストベクトル（プール）。
• 順位に基づくポールサンプラーを採用し、空間的に有意義な位置を学習的に抽出する。これは明示的な教師信号を必要とせず、自己教師型領域提案ネットワークに類似した挙動を示す。
• 非サンプル領域からのコンテキスト特徴を適応的プーリングにより集約し、複数スケールのグローバルおよびローカルコンテキストを捉える。
• PnPモジュールをDETRアーキテクチャに統合し、動的計算割り当てを可能にするエンドツーエンド学習を実現する。
• サンプル特徴数（ポールおよびプール）を変更することで、1つのモデルで異なる速度-精度トレードオフを柔軟に実現できる推論を可能にする。
• 標準的な検出損失を用いてPnPモジュールをエンドツーエンドで学習させ、最適なサンプリングパターンを最適化プロセス中に適応的に学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な空間的サンプリング機構は、検出精度を損なわずにビジョントランスフォーマーにおける冗長な計算を低減できるか？
• RQ2 1つのモデルが、異なるハードウェア制約下でも計算効率と性能のバランスを動的に保てるか？
• RQ3 ポールアンドプールサンプリング戦略は、正確な検出に不可欠な細粒度のオブジェクト特徴と背景コンテキストをどの程度効果的に捉えることができるか？
• RQ4 PnPモジュールはオブジェクト検出を越えて、パノプティックセグメンテーションや画像認識といった他のビジョンタスクにも一般化可能か？
• RQ5 ポールサンプラーの学習ダイナミクスは訓練中にどのように変化し、安定的で意味のあるサンプリングパターンに収束するか？

主な発見

• PnP-DETRモデルは、アノテーションされたボックス内でのサンプリング位置の割合が60%に達しており、関連領域に的確に注目していることを示している。
• 収束後、連続するエポック間でポールサンプラーのサンプリング位置間のピxls IOUが約0.75に保たれており、安定的かつ一貫性のあるサンプリング行動であることが示された。
• 最適な設定は、ポール比1/3と60個のプールサンプルであり、細粒度特徴とコンテキスト特徴表現のバランスが最良である。
• プールサンプリングを組み込むことで、純粋なポールサンプリングに比べてAPが約0.7ポイント向上し、背景コンテキストの価値が明確に示された。
• 再訓練を伴わず、最先端の効率性と性能のトレードオフを達成しており、計算予算が変化する状況下でも動的推論が可能である。
• PnPモジュールはパノプティックセグメンテーションや画像認識にも効果的に一般化され、オブジェクト検出を越えた広範な応用可能性が確認された。