[論文レビュー] Appearance-Preserving 3D Convolution for Video-based Person Re-identification

Xinqian Gu, Hong Chang+3 more|arXiv (Cornell University)|Jul 16, 2020

Video Surveillance and Tracking Methods参考文献 36被引用数 12

ひとこと要約

本稿では、3次元畳み込みを適用する前に、クロスピクセルの意味的類似度を用いて特徴マップをフレーム間で整合化する Appearance-Preserving Module (APM) を統合した Appearance-Preserving 3D Convolution (AP3D) を提案する。これにより、動画ベースの人物再識別における外見表現の保持が実現される。AP3D は、追加の教師信号や複雑な後処理を一切用いずに、RGB モodalit でのみ、3つのベンチマークデータセットで最先端性能を達成している。

ABSTRACT

Due to the imperfect person detection results and posture changes, temporal appearance misalignment is unavoidable in video-based person re-identification (ReID). In this case, 3D convolution may destroy the appearance representation of person video clips, thus it is harmful to ReID. To address this problem, we propose AppearancePreserving 3D Convolution (AP3D), which is composed of two components: an Appearance-Preserving Module (APM) and a 3D convolution kernel. With APM aligning the adjacent feature maps in pixel level, the following 3D convolution can model temporal information on the premise of maintaining the appearance representation quality. It is easy to combine AP3D with existing 3D ConvNets by simply replacing the original 3D convolution kernels with AP3Ds. Extensive experiments demonstrate the effectiveness of AP3D for video-based ReID and the results on three widely used datasets surpass the state-of-the-arts. Code is available at: https://github.com/guxinqian/AP3D.

研究の動機と目的

• 検出エラーおよびポーズ変化に起因する時間的外見不整合によって引き起こされる動画ベースの人物再識別における外見表現の劣化問題に対処すること。
• 空間的・時間的依存関係を効果的にモデル化しつつ、外見品質を保持する3次元畳み込み手法を開発すること。
• アノテーション付き対応情報が不要な、ピクセル単位の特徴マップ整合化を可能にするモジュールを設計すること。
• I3D や P3D などの既存の 3D ConvNets と互換性を持つプラグアンドプレイ型のコンponent を作成すること。

提案手法

• AP3D は Appearance-Preserving Module (APM) と標準の 3D 畳み込みカーネルから構成され、AP3D は畳み込みの前に適用される。
• APM は、隣接する特徴マップをクロスピクセルの意味的類似度に基づいて再構築し、中央の特徴マップと整合化することで、フレーム間での空間的対応を保証する。
• 非対称な外見状況（例：欠損した身体部位）における一致しない領域を特定するためにコントラスト型アテンションが用いられ、誤り伝播を抑制するための学習済みアテンションマスクが適用される。
• APM は教師信号（ID に関する情報）のみに依存する自己教師型で動作し、追加の対応アノテーションは不要である。
• 標準の 3D 畳み込みカーネルを AP3D ブロックに置き換えることで、既存の 3D ConvNets に容易に統合できる。
• 類似度重み関数におけるスケール係数 $ s $ は、類似度の高いピクセルの影響をバランスさせるために調整され、$ s=4 $ が最適な性能を示した。

実験結果

リサーチクエスチョン

• RQ1 動画 ReID における 3次元畳み込みは、検出エラーやポーズ変化に起因する時間的不整合によって外見表現が劣化する可能性があるか？
• RQ2 学習された類似度に基づくピクセル単位の特徴マップ整合化は、対応アノテーションが不要な状態で 3次元畳み込みの性能を向上させることができるか？
• RQ3 提案された AP3D モジュールは、I3D や P3D などの異なるバックボーンアーキテクチャに一般化可能か？
• RQ4 AP3D は、光流体や複雑な特徴マッチング戦略を用いずに、RGB 入力のみで SOTA 性能を達成できるか？
• RQ5 コントラスト型アテンションの統合は、不整合な特徴マップにおける非対称な外見に対するロバストネスにどのように寄与するか？

主な発見

• MARS データセットでは、AP3D が RGB 入力のみで 90.1% の mAP を達成し、これまでのあらゆる手法を上回った。
• DukeMTMC-VideoReID では、AP3D がトップ-1 正答率 96.3%、mAP 95.6% を達成し、新たな SOTA を樹立した。
• Non-local 接続を組み合わせた NL-AP3D は、MARS で 90.7% mAP、DukeMTMC-VideoReID で 96.1% mAP まで向上した。
• AP3D-ResNet-18 は、パラメータ数がほぼ半分で計算コストも低いにもかかわらず、より深い ResNet-34 よりも優れた性能を示した。
• アブレーションスタディにより、APM とコントラスト型アテンションの両方が不可欠であることが確認され、特に後者は MARS で mAP を 1.5–2.0% 向上させた。
• 類似度重み関数における最適なスケール係数 $ s=4 $ は、実験全体にわたり一貫して最高の結果をもたらした。