[論文レビュー] DCDLearn: Multi-order Deep Cross-distance Learning for Vehicle Re-Identification

Rixing Zhu, Jianwu Fang+3 more|arXiv (Cornell University)|Mar 25, 2020

Video Surveillance and Tracking Methods参考文献 37被引用数 8

ひとこと要約

本稿では、1枚の入力ビューに基づく効率的なワンビューCycleGANを用いて、本物の画像、スタイル変換済み画像、再構築画像を含む複数の順序の拡張データを生成する、マルチオーダー深層クロス距離学習フレームワークであるDCDLearnを提案する。マルチオーダー拡張トリプル損失とセンター損失を最適化することで、カメラに依存しない、アイデンティティに一貫性のある表現を学習し、最先端の性能を達成する。特にTunnel-VReIDのような小スケールデータセットにおいて、先行手法より13.1%の向上を達成する。

ABSTRACT

Vehicle re-identification (Re-ID) has become a popular research topic owing to its practicability in intelligent transportation systems. Vehicle Re-ID suffers the numerous challenges caused by drastic variation in illumination, occlusions, background, resolutions, viewing angles, and so on. To address it, this paper formulates a multi-order deep cross-distance learning ( extbf{DCDLearn}) model for vehicle re-identification, where an efficient one-view CycleGAN model is developed to alleviate exhaustive and enumerative cross-camera matching problem in previous works and smooth the domain discrepancy of cross cameras. Specially, we treat the transferred images and the reconstructed images generated by one-view CycleGAN as multi-order augmented data for deep cross-distance learning, where the cross distances of multi-order image set with distinct identities are learned by optimizing an objective function with multi-order augmented triplet loss and center loss to achieve the camera-invariance and identity-consistency. Extensive experiments on three vehicle Re-ID datasets demonstrate that the proposed method achieves significant improvement over the state-of-the-arts, especially for the small scale dataset.

研究の動機と目的

• 照明、遮蔽、視点の変化によるクロスカメラ間の外見変動に起因する車両再識別における課題に対処すること。
• 従来のGANベースのデータ拡張手法が第1順序の生成画像のみを用いる一方で、第2順序の再構築画像を無視するという限界を克服すること。
• 複数のペアワイズCycleGANを1つのワンビューCycleGANに置き換えることで、計算コストを低減すること。
• マルチオーダー画像表現を活用することで、特に小スケールデータセットにおけるモデルのロバスト性と一般化性能を向上させること。
• 新規の深層クロス距離学習フレームワークにより、カメラに依存しない、アイデンティティに一貫性のある特徴の学習を達成すること。

提案手法

• 訓練データをランダムに2つの部分に分割することで、アイデンティティを保持したまま効率的なクロスカメラスタイル転送を実現するワンビューCycleGANを導入する。
• 本物の画像（0次順）、CycleGANで生成された画像（1次順）、再構築された画像（2次順）を、訓練用のマルチオーダー拡張データとして扱う。
• 異なるアイデンティティのマルチオーダー画像セット間のクロス距離を学習する、マルチオーダー拡張トリプル損失を提案する。
• すべての3つの画像順序にわたるクラス内変動を収縮させるために、マルチオーダー拡張センター損失を組み込む。
• 訓練中にハードな陽性および陰性サンプルに焦点を当てるために、自動的なクロス距離選択を実施する。
• ワンビューCycleGANにアイデンティティ制約を適用し、転送および再構築画像が元の画像と同じアイデンティティを保持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 1つの効率的なワンビューCycleGANが、複数のペアワイズCycleGANに置き換えることで、マルチカメラ車両再識別における計算コストを低減できるか？
• RQ2 第1順序の生成画像と第2順序の再構築画像の両方を活用することで、特徴のロバスト性とモデルの一般化性能が向上するか？
• RQ3 組み合わせたトリプル損失とセンター損失を用いたマルチオーダー拡張データが、より良いカメラ不変性とアイデンティティ一貫性を実現できるか？
• RQ4 データ不足が主な課題となる小スケールデータセットにおいて、提案手法はどのように性能を発揮するか？
• RQ5 低照度、ブレ、遮蔽状況下でも、最先端の手法を上回る性能を示すか？

主な発見

• VeRiデータセットでは、DCDLearnはRank-1の正確度が92.8%、mAPが70.4%を達成し、比較したすべての最先端手法を上回った。
• VehicleIDデータセットでは、小規模、中規模、大規模バージョンのすべてで最高の性能を示し、フルモデル（Ours-T-C）が最も優れた結果を出した。
• 小スケールのTunnel-VReIDデータセットでは、Rank-1の正確度が81.3%に達し、次善の手法（PRND）より13.1%の向上を示し、限られたデータでも優れた一般化性能を示した。
• アブレーションスタディにより、性能と安定性のバランスを最適化するための最適なハイパーパrameter λ = 0.001 が確認された。
• 定性的な結果から、運動ブレや薄暗い照明といった困難な状況下でも、トップランクの陽性マッチングが正しく再取得されていることが示された。
• マルチオーダー拡張を用いたモデルは、拡張なしのベースラインに比べて小スケールデータセットで顕著に優れた性能を示し、マルチオーダー学習の必要性を裏付けた。