[論文レビュー] Resolution-invariant Person Re-Identification

Shunan Mao, Shiliang Zhang+1 more|arXiv (Cornell University)|Jun 24, 2019

Video Surveillance and Tracking Methods参考文献 28被引用数 8

ひとこと要約

本稿では、前景に焦点を当てたフルコンvolutionオートエンコーダーを用いた前景焦点スーパーレゾリューション（FFSR）モジュールと、解像度に依存しない特徴抽出器（RIFE）を共同で訓練することで、解像度に依存しない人物再識別手法を提案する。FFSRはスキップ接続を備えたフルコンvolutionオートエンコーダーを用いて、低解像度の人物画像を強化する。一方、RIFEは二重ブランチの畳み込みニューラルネットワーク（CNN）を用い、二重アテンション統合ブロックにより低解像度および高解像度入力からの特徴を学習する。本手法は最先端の性能を達成し、MLR-CUHK03では73.3%のRank-1精度、CAVIARでは36.4%を記録し、それぞれ従来手法より2.6%および2.9%高い性能を示した。

ABSTRACT

Exploiting resolution invariant representation is critical for person Re-Identification (ReID) in real applications, where the resolutions of captured person images may vary dramatically. This paper learns person representations robust to resolution variance through jointly training a Foreground-Focus Super-Resolution (FFSR) module and a Resolution-Invariant Feature Extractor (RIFE) by end-to-end CNN learning. FFSR upscales the person foreground using a fully convolutional auto-encoder with skip connections learned with a foreground focus training loss. RIFE adopts two feature extraction streams weighted by a dual-attention block to learn features for low and high resolution images, respectively. These two complementary modules are jointly trained, leading to a strong resolution invariant representation. We evaluate our methods on five datasets containing person images at a large range of resolutions, where our methods show substantial superiority to existing solutions. For instance, we achieve Rank-1 accuracy of 36.4% and 73.3% on CAVIAR and MLR-CUHK03, outperforming the state-of-the art by 2.9% and 2.6%, respectively.

研究の動機と目的

• 実際の監視システムにおける極端な解像度変動下での人物再識別（Re-ID）の課題に対処すること。
• Re-ID精度を最適化しない一般化されたスーパーレゾリューション手法の限界を克服し、前景と背景を区別できない点を改善すること。
• 低解像度および高解像度の両方の入力から明示的に特徴を学習する特徴抽出器を設計し、解像度の変動に対する耐性を高めること。
• スーパーレゾリューションと特徴抽出モジュールをエンドツーエンドで共同訓練し、Re-ID性能を最適化すること。

提案手法

• FFSRは、スキップ接続を備えたフルコンボリューションオートエンコーダーを用いて人物画像をアップサンプリングし、人物の身体領域に焦点を当てた損失関数で訓練することで、背景の雑音よりも身体の詳細を優先する。
• 前景焦点損失は、人物の身体領域の再構成を強調することで、Re-IDに向けた意味的関連性を向上させる。
• RIFEは、低解像度入力用と高解像度入力用の二つの並列なCNNストリームを用い、それぞれが独立に特徴を抽出する。
• 二重アテンションブロックは、学習されたアテンション重みを用いて二つのストリームからの特徴を動的に統合し、解像度に依存しない表現を生成する。
• FFSRとRIFEモジュールは、Re-ID損失を統合してエンドツーエンドで共同訓練され、異なる解像度間でのマッチング精度を最適化する。
• フレームワークは、解像度の変動が著しい新規に構築されたVR-Market1501およびVR-MSMT17を含む5つのデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 スーパーレゾリューションと特徴抽出を共同で訓練することで、極端な解像度変動下での人物Re-ID性能が向上するか？
• RQ2 前景に焦点を当てたスーパーレゾリューションは、標準的なスーパーレゾリューション手法よりも優れたRe-ID特徴を生成するか？
• RQ3 アテンションベースの統合を用いた二重ブランチ特徴学習は、解像度の変動に対する耐性を高められるか？
• RQ4 本手法は、解像度の差が著しいデータセットにおいて、最先端のRe-IDモデルと比較してどのように性能を発揮するか？

主な発見

• MLR-CUHK03では、本手法が73.3%のRank-1精度を達成し、以前の最先端手法であるCSR-GANを2.6%上回った。
• CAVIARでは、36.4%のRank-1精度を記録し、最先端手法を2.9%上回った。
• RIFEモジュール単体でも、ResNet50ベースラインに比べてRank-1精度が5.7%向上し、解像度の変動に対する耐性の高さを示した。
• FFSRとRIFEを組み合わせることで、5つのデータセットすべてで最高性能を達成し、SINGを基準としてVR-Market1501で6.4%の向上を達成した。
• アブレーションスタディの結果、学習されたアテンション重みを用いた二重ブランチ設計は、等重み統合よりも1.3%の性能向上を示した。
• FFSRはSRCNNやVDSRと比較して、計算オーバーヘッドを最小限に抑えつつ、SRCNNに比べて6.2%高いRank-1精度を達成した。