[論文レビュー] DotSCN: Group Re-identification via Domain-Transferred Single and Couple Representation Learning

Ziling Huang, Zheng Wang+3 more|arXiv (Cornell University)|May 13, 2019

Video Surveillance and Tracking Methods参考文献 34被引用数 5

ひとこと要約

本論文は、データ不足の問題に対処するため、ソースデータセットからの事前学習済み人物ReID特徴をターゲットG-ReIDドメインに転送するドメイン転送型表現学習フレームワークであるDotSCNを提案する。グループ再識別（G-ReID）の文脈で、人物間の関係をモデル化する新しいカップル表現学習モジュールと、L字型の事前知識を用いた適応的融合機構を導入し、Road GroupおよびDukeMCMTデータセットでそれぞれ11.7%および39.0%のCMC-1向上を達成し、最先端の性能を実現した。

ABSTRACT

Group re-identification (G-ReID) is an important yet less-studied task. Its challenges not only lie in appearance changes of individuals which have been well-investigated in general person re-identification (ReID), but also derive from group layout and membership changes. So the key task of G-ReID is to learn representations robust to such changes. To address this issue, we propose a Transferred Single and Couple Representation Learning Network (TSCN). Its merits are two aspects: 1) Due to the lack of labelled training samples, existing G-ReID methods mainly rely on unsatisfactory hand-crafted features. To gain the superiority of deep learning models, we treat a group as multiple persons and transfer the domain of a labeled ReID dataset to a G-ReID target dataset style to learn single representations. 2) Taking into account the neighborhood relationship in a group, we further propose learning a novel couple representation between two group members, that achieves more discriminative power in G-ReID tasks. In addition, an unsupervised weight learning method is exploited to adaptively fuse the results of different views together according to result patterns. Extensive experimental results demonstrate the effectiveness of our approach that significantly outperforms state-of-the-art methods by 11.7\% CMC-1 on the Road Group dataset and by 39.0\% CMC-1 on the DukeMCMT dataset.

研究の動機と目的

• 大規模な公開データセットが不足するグループ再識別（G-ReID）におけるラベル付き学習データの限界に起因する課題に対処する。
• 既存のReIDデータセットとターゲットG-ReID環境との間のドメインシフトを克服し、人物レベルの表現を効果的に転送できるようにする。
• グループ内の構成変化や動的なレイアウトを捉えるために、グループメンバー間の判別的カップル表現を学習する。
• L字型の事前知識に基づいて、単一およびカップル表現の判別力に応じて動的に重みを割り当てる適応的融合戦略を開発する。

提案手法

• ドメインシフトを軽減するために、画像スタイル変換を用いてソースドメイン（例：Market-1501）からの事前学習済み人物ReID特徴をターゲットG-ReIDドメインに転送する。
• 各グループを個々の人物の集合として表現し、各メンバーに対してドメイン転送済みの単一人物特徴を抽出する。
• 対照的損失を用いたシアン型ネットワークを用いて、2人のグループメンバー間のペアワイズ関係をモデル化することで、新しいカップル表現を学習する。
• ランク距離曲線の囲まれた面積を用いて、単一およびカップル表現の動的重みを計算する適応的融合機構を提案する。
• L字型の事前知識に基づく学習可能な重み関数を用いて、融合された表現を最終的なマッチングスコアに統合する。
• 単一特徴のトリプレット損失とカップル特徴の対照的損失を統合したジョイント損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応技術は、ラベル付きデータが限られたターゲットG-ReIDドメインに、人物ReID表現を効果的に転送できるか？
• RQ2 グループメンバー間のペアワイズ関係（カップル表現を介して）をモデル化することで、単一人物特徴のみに比べてG-ReIDにおける判別力が向上するか？
• RQ3 単一およびカップル表現の重みをその判別力に応じて動的に割り当てる適応的融合戦略は、固定重みまたは等価重みの融合戦略を上回る性能を示すか？
• RQ4 動的なレイアウトやメンバー構成の変化が生じる状況下で、提案手法はグラフニューラルネットワーク（GNN）モデルに比べてグループレベルの表現をより効果的にモデル化できるか？

主な発見

• Road Groupデータセットにおいて、DotSCNは既存の最良手法に比べてCMC-1で11.7%の絶対的向上を達成した。
• DukeMCMTデータセットでは、最先端手法に比べてCMC-1で39.0%の向上を示し、優れた一般化性能を示した。
• 適応的融合戦略は、すべてのCMC指標において、等価重み融合や単一・カップル表現ベースラインを上回った。
• 単一およびカップル表現の相補的性質のおかげで、外観の変化、レイアウトの変化、メンバー構成の変化に対しても、本手法は頑健であることが示された。
• 提案されたカップル表現は、特に衣類が似通った人物において、グローバル表現やグラフベースの表現が捉えられない独自の人物間差を捉えている。
• アブレーションスタディの結果、L字型の事前知識に基づく融合機構が、困難な状況下でより判別力の高い表現に高い重みを割り当てることを確認した。