[論文レビュー] GiT: Graph Interactive Transformer for Vehicle Re-identification

Fei Shen, Yi Xie+3 more|arXiv (Cornell University)|Jul 12, 2021

Advanced Neural Network Applications参考文献 40被引用数 14

ひとこと要約

本稿では、スタックされたインタラクティブブロックアーキテクチャを採用し、新規の局所相関グラフ（LCG）を用いて一括して判別性の高い局所特徴を学習するとともに、自己注意機構により頑健なグローバル特徴を学習する、車両再識別を目的としたグラフインタラクティブトランスフォーマー（GiT）を提案する。本手法は、3つの大規模ベンチマークで最先端の性能を達成し、最大構成下でVeRi776で97.22% R1および81.48% mAPを達成した。

ABSTRACT

Transformers are more and more popular in computer vision, which treat an image as a sequence of patches and learn robust global features from the sequence. However, pure transformers are not entirely suitable for vehicle re-identification because vehicle re-identification requires both robust global features and discriminative local features. For that, a graph interactive transformer (GiT) is proposed in this paper. In the macro view, a list of GiT blocks are stacked to build a vehicle re-identification model, in where graphs are to extract discriminative local features within patches and transformers are to extract robust global features among patches. In the micro view, graphs and transformers are in an interactive status, bringing effective cooperation between local and global features. Specifically, one current graph is embedded after the former level's graph and transformer, while the current transform is embedded after the current graph and the former level's transformer. In addition to the interaction between graphs and transforms, the graph is a newly-designed local correction graph, which learns discriminative local features within a patch by exploring nodes' relationships. Extensive experiments on three large-scale vehicle re-identification datasets demonstrate that our GiT method is superior to state-of-the-art vehicle re-identification approaches.

研究の動機と目的

• 純粋なCNNやトランスフォーマーの制限を克服するため、局所的およびグローバルな特徴を同時にモデル化すること。
• 既存のCNN-GNNやCNN-Transformerハイブリッド手法における局所的およびグローバルな特徴学習の間の相互作用の欠如を解消すること。
• 画像パッチ内の局所的特徴を、ノード間の関係をモデル化することで判別性の高い特徴を捉える新しい局所相関グラフ（LCG）を設計すること。
• グラフモジュールとトランスフォーマーモジュールが層を跨いで協調するスタック式でインタラクティブなアーキテクチャを設計し、特徴表現を強化すること。
• 本手法が車両再識別を越えて、人物再識別タスクにも一般化可能であることを示すこと。

提案手法

• GiTモデルは、複数のGiTブロックをスタックし、各ブロックで局所相関グラフ（LCG）とトランスフォーマーレイヤーをインタラクティブかつ段階的に統合する。
• 各ブロックにおいて、前のブロックのグラフおよびトランスフォーマーの出力を受けて現在のグラフを埋め込み、さらにその出力と前のトランスフォーマーの出力を受けて現在のトランスフォーマーを埋め込むことで、階層間の特徴相互作用を実現する。
• LCGモジュールは、学習可能なパラメータとグラフ畳み込み演算を用いて、空間ノード間の関係をモデル化することで、各パッチ内での局所的特徴を学習する。
• トランスフォーマーではマルチヘッド自己注意機構を用い、パッチ間の長距離依存関係を捉える。空間分解能を保持する非ダウンサンプリング設計を採用する。
• グローバルおよび局所的特徴の判別性を最適化するため、ジョイントトリプレット損失とクロスエントロピー損失を用いてモデルを訓練する。
• モデル容量のアブレーションが可能となるように、深さ（D）およびアテンションヘッド数（H）によるスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの局所的特徴学習とトランスフォーマー基盤のグローバル特徴学習の相互作用が、再識別精度に与える影響は何か？
• RQ2 提案された局所相関グラフ（LCG）モジュールが、ホイールやライトなどの細粒度な車両特徴をどれほど効果的に捉えられるか？
• RQ3 純粋なCNN、純粋なトランスフォーマー、およびCNN-GNNハイブリッドと比較して、提案されたGiTアーキテクチャの性能と効率性はいかがなっているか？
• RQ4 GiTは、人物再識別タスクなど、他の再識別タスクへどの程度一般化可能か？
• RQ5 モデルの深さ（D）とアテンションヘッド数（H）が、性能およびパラメータ効率に与える影響は何か？

主な発見

• VeRi776データセットにおいて、GiT-H12-D18は97.22% R1および81.48% mAPを達成し、すべての先行手法を上回った。
• 最大のGiT構成（H12-D18）は、134.1Mパラメータを有し、中程度の複雑性で優れた性能を示した。
• Market-1501では、GiTは95.7% R1および88.9% mAPを達成し、比較されたすべての手法の中でmAPで1位を記録した。
• より大きなMSMT17データセットでは、GiTは85.6% R1および64.8% mAPを達成し、両指標ですべての最先端手法を上回った。
• 感度分析の結果、パラメータ増加に伴う性能向上の観点で、深さ（D）の増加がヘッド数（H）の増加よりも有利であることが示された。H=12はH=3と比較してパラメータを162.3%増加させた。
• GiT-Tiny（H3-D12）は、精度およびFLOPsの両面でViT-Baseを上回り、小型スケールでも効率的かつ効果的であることを示した。