[論文レビュー] Cross-Entropy Adversarial View Adaptation for Person Re-identification

Lin Wu, Richang Hong+2 more|arXiv (Cornell University)|Apr 3, 2019

Video Surveillance and Tracking Methods参考文献 62被引用数 5

ひとこと要約

本稿では、人物再識別における視点変動を低減するために、非対称な視点固有の特徴マッピングを学習する交差エントロピー対抗的ビュー適応手法を提案する。視点混乱目的関数とエントロピー正則化、類似度識別器を同時に最適化することで、ペaired画像生成や対称的ネットワークアーキテクチャを必要とせずに、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Person re-identification (re-ID) is a task of matching pedestrians under disjoint camera views. To recognise paired snapshots, it has to cope with large cross-view variations caused by the camera view shift. Supervised deep neural networks are effective in producing a set of non-linear projections that can transform cross-view images into a common feature space. However, they typically impose a symmetric architecture, yielding the network ill-conditioned on its optimisation. In this paper, we learn view-invariant subspace for person re-ID, and its corresponding similarity metric using an adversarial view adaptation approach. The main contribution is to learn coupled asymmetric mappings regarding view characteristics which are adversarially trained to address the view discrepancy by optimising the cross-entropy view confusion objective. To determine the similarity value, the network is empowered with a similarity discriminator to promote features that are highly discriminant in distinguishing positive and negative pairs. The other contribution includes an adaptive weighing on the most difficult samples to address the imbalance of within/between-identity pairs. Our approach achieves notable improved performance in comparison to state-of-the-arts on benchmark datasets.

研究の動機と目的

• カメラの視点シフトによって引き起こされる大きな視点間差異を是正すること。
• プローブとギャラリーの視点に対して非対称なマッピングを学習することで、対称的シアンセイネットワークの悪条件な最適化を克服すること。
• 大規模なラベル付きデータに依存せずに、視点不変特徴空間と判別的な類似度メトリックを同時に学習すること。
• 中間および異なるアイデンティティペアの間のトレーニングの不均衡を、適応的重み付けによって軽減すること。
• エントロピー正則化を用いた対抗的トレーニングを活用することで、低ショットおよび教師なし再識別状況における一般化性能を向上させること。

提案手法

• 本手法は、プローブおよびギャラリー画像を共有特徴空間にマップする非対称な深層ニューラルネットワークを採用し、重み共有を回避することで視点固有の表現学習を可能にする。
• 視点差を最小化するため、視点識別器を混乱させるために交差エントロピー対抗損失を用いることで、視点不変特徴を促進する。
• トレーニングの安定化と一般化性能の向上のため、視点混乱目的関数にエントロピー正則化を適用する。
• 正例（同一アイデンティティ）と負例（異なるアイデンティティ）のペアを区別するための別個の類似度識別器を訓練し、特徴の判別能を向上させる。
• ハードサンプルに重点を置くために、トレーニング中にクラスの不均衡を是正するための適応的重み付けスキームを導入する。
• 全体のフレームワークは、対抗的視点混乱損失とマージンベースの類似度損失を組み合わせた損失関数を用いて、エンドツーエンドで学習可能である。

実験結果

リサーチクエスチョン

• RQ1 非対称な特徴マッピングは、対称的シアンセイネットワークと比較して、視点間の人物再識別性能を向上させるか？
• RQ2 エントロピー正則化を伴う対抗的視点混乱は、視点間の視覚的差を効果的に低減するか？
• RQ3 共同で訓練された類似度識別器は、正例と負例ペアの特徴の判別能を向上させるか？
• RQ4 ハードサンプルの適応的重み付けは、再識別におけるトレーニングデータの不均衡を効果的に緩和するか？
• RQ5 生成器を不要とする判別的アプローチは、既存のドメイン適応手法を上回る性能を発揮するか？

主な発見

• 提案手法はVIPeRデータセットで51.3%のランク-1正解率を達成し、先行研究を上回った。
• CUHK03データセットでは86.6%のランク-1正解率を達成し、既存のビュー適応技術を顕著に上回った。
• Market-1501ベンチマークでは87.2%のランク-1正解率を達成し、新たな最先端性能を樹立した。
• アブレーションスタディにより、対抗的視点混乱と類似度識別器の両方が性能向上に顕著な寄与をしていることが確認された。
• 適応的重み付け機構は、特にハードネガティブサンプルにおいて、トレーニング収束と性能を向上させた。
• CoGANのような画像生成アプローチやADDAのような非生成的アプローチと比較して、本手法は優れた性能を示した。これは、効果的なビュー適応に画像生成が必須ではないことを示している。