[論文レビュー] Beyond Intra-modality Discrepancy: A Comprehensive Survey of Heterogeneous Person Re-identification.

Zheng Wang, Zhixiang Wang+3 more|arXiv (Cornell University)|May 24, 2019

Video Surveillance and Tracking Methods被引用数 9

ひとこと要約

本稿は、低解像度、赤外線、スケッチ、テキストベースのReID状況をカバーする、異種の人物再識別（He-ReID）に関する包括的なサーベイを提供する。He-ReIDと同種のReID（Ho-ReID）を比較し、既存のデータセット、モデル、代表的なアプローチをレビューし、異モodal間人物検索における主な課題と今後の研究方向性を提示する。

ABSTRACT

An effective and efficient person re-identification (ReID) algorithm alleviates painful video watching and accelerates the investigation progress. Recently, with the explosive requirements of practical applications, a lot of research efforts have been dedicated to heterogeneous person re-identification (He-ReID). In this paper, we review the state-of-the-art methods comprehensively with respect to four main application scenarios -- low-resolution, infrared, sketch and text. We begin with a comparison between He-ReID and the general Homogeneous ReID (Ho-ReID) task. Available existing datasets for performing evaluation are briefly described. We then survey the models that have been widely employed in He-ReID. We also summarize and compare the representative approaches. Finally, we discuss some future research directions.

研究の動機と目的

• 多様な応用シナリオにおける異種の人物再識別（He-ReID）における最先端手法を体系的かつ包括的にレビューすること。
• モダリティの違いと手法的差異の観点から、He-ReIDと同種の人物再識別（Ho-ReID）を比較すること。
• He-ReIDのベンチマーク評価およびモデル学習に使用される既存のデータセットを要約・評価すること。
• 異なるモダリティ間で用いられる代表的なモデルと技術を分析・対比すること。
• 異モダリティ間人物検索における未解決の課題を特定し、今後の研究方向性を提案すること。

提案手法

• 低解像度、赤外線、スケッチ、テキストベースのReIDの4つの主要なHe-ReIDシナリオに焦点を当てた構造的な文献レビューを実施する。
• モダリティの不一致と特徴分布のシフトに注目し、He-ReIDと同種のReID（Ho-ReID）の特徴と課題を比較する。
• Siameseネットワーク、アテンションメカニズム、クロスモダリティアライメントモジュールなどの、広く用いられる深層学習モデルとアーキテクチャを調査・分類する。
• 異なるデータセットおよびモダリティコンビネーションにおけるmAPやランク-1精度といった指標を用いて、代表的なアプローチを要約・比較する。
• 特徴抽出、モダリティ固有の表現学習、クロスモダリティアライメント技術における設計選択を分析する。
• 既存の研究から得られた知見を統合し、He-ReIDにおけるギャップを特定し、今後の研究方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 モダリティの不一致と特徴分布のズレという観点から、異種と同種の人物再識別にはどのような主な差異があるか？
• RQ2 低解像度、赤外線、スケッチ、テキストモダリティにおいて、現在利用可能で広く使われているHe-ReIDモデルの評価に用いられるデータセットは何か？
• RQ3 異モダリティ間人物検索を処理するにあたり、最も効果的な深層学習アーキテクチャとコンponents（例：アテンション、対照的学習）は何か？
• RQ4 代表的なHe-ReID手法は、異なるモダリティコンビネーションにおいてどのように性能を発揮しているのか、またそれらの制限要因は何か？
• RQ5 異種の人物再識別における主要な未解決課題と有望な今後の研究方向性は何か？

主な発見

• 異なるデータタイプにわたる大規模なイントラモダリティおよびインターモダリティの不一致のため、He-ReIDはHo-ReIDに比べてはるかに大きな課題を呈する。
• Market-1501、CUHK03、MS-COCOなどの既存のHe-ReID用データセットは、特にスケッチおよびテキストモダリティにおいて、クロスモダリティ評価に適した形で十分に整備されていない。
• アテンションメカニズムと対照的学習が、異種モダリティ間の特徴アライメントを向上させるために重要なコンponentsとして浮き彫りになった。
• 最新のHe-ReIDモデルは、一部のベンチマークでmAPが60％を超える競争力ある性能を達成しているが、スケッチから画像へのReIDのような極端な状況では著しく性能が低下する。
• クロスモダリティ特徴アライメントとドメイン適応技術は、モダリティ固有のバイアスを低減し、一般化性能を向上させるために不可欠である。
• 今後の研究は、マルチモダリティReIDの統合フレームワークの構築、ゼロショット一般化の向上、スケッチおよびテキストベースのReIDのための標準化されたベンチマークの開発に注力すべきである。