[論文レビュー] Cross Domain Knowledge Learning with Dual-branch Adversarial Network for Vehicle Re-identification

Jinjia Peng, Huibing Wang+1 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Neural Network Applications参考文献 34被引用数 4

ひとこと要約

本稿では、ラベル付きソースドメイン画像にラベルなしターゲットドメイン画像のスタイルを転送しながらアイデンティティ情報を保持する、二重ブランチ敵対的ネットワーク（DAN）を用いた車両再識別のためのドメイン適応フレームワークであるDAVRを提案する。生成された画像を用いて注目メカニズムを備えた特徴学習ネットワーク（ATTNet）を訓練することで、VeRi-776およびVehicleIDデータセットにおいて、最大9.05%のランク-1精度向上を達成し、クロスドメイン再識別性能が顕著に向上した。

ABSTRACT

The widespread popularization of vehicles has facilitated all people's life during the last decades. However, the emergence of a large number of vehicles poses the critical but challenging problem of vehicle re-identification (reID). Till now, for most vehicle reID algorithms, both the training and testing processes are conducted on the same annotated datasets under supervision. However, even a well-trained model will still cause fateful performance drop due to the severe domain bias between the trained dataset and the real-world scenes. To address this problem, this paper proposes a domain adaptation framework for vehicle reID (DAVR), which narrows the cross-domain bias by fully exploiting the labeled data from the source domain to adapt the target domain. DAVR develops an image-to-image translation network named Dual-branch Adversarial Network (DAN), which could promote the images from the source domain (well-labeled) to learn the style of target domain (unlabeled) without any annotation and preserve identity information from source domain. Then the generated images are employed to train the vehicle reID model by a proposed attention-based feature learning model with more reasonable styles. Through the proposed framework, the well-trained reID model has better domain adaptation ability for various scenes in real-world situations. Comprehensive experimental results have demonstrated that our proposed DAVR can achieve excellent performances on both VehicleID dataset and VeRi-776 dataset.

研究の動機と目的

• トレーニングと実世界のテストシーンとの間で生じるドメインバイアスによって引き起こされる車両再識別性能の著しい低下を是正すること。
• スタイルや外観の変化により、未学習ドメインで失敗する監視付き再識別モデルの限界を克服すること。
• 追加のアノテーションを必要とせず、ラベル付きソースデータとラベルなしターゲットデータのみを活用する非教師付きドメイン適応手法を開発すること。
• アイデンティティを保持しつつターゲットドメインの特徴に適応したリアルなスタイル変換画像を生成することで、モデルの汎化性能を向上させること。
• 判別的な車両部品に注目する注目ベースの特徴学習モジュールを設計し、合成されたドメイン適応画像で学習した際の再識別性能を向上させること。

提案手法

• コンテンツとスタイルの学習を別々のブランチで行う二重ブランチ敵対的ネットワーク（DAN）を提案。コンテンツ符号化（ソースドメイン）用とスタイル符号化（ターゲットドメイン）用の二つのブランチを採用する。
• 敵対的損失とサイクル整合性損失を用いて、エンドツーエンドでDANを訓練し、アイデンティティを保持しつつターゲットドメインのスタイルを持つソースドメイン画像を生成する。
• 画像変換プロセス中にコンテンツ再構成とアイデンティティ損失を強制することで、アイデンティティ情報を保持する。
• 判別的な車両部品に注目することで特徴表現を強化する注目ベースの特徴学習ネットワーク（ATTNet）を導入する。
• DANから生成された画像を用いて再識別モデルをファインチューニングし、未学習のターゲットドメインに対してもより良い汎化性能を実現する。
• 画像変換モジュールと特徴学習モジュールを統合し、エンドツーエンドのドメイン適応フレームワーク（DAVR）を構築し、クロスドメイン車両再識別を実現する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしターゲットドメイン画像の視覚的スタイルを、アイデンティティ情報を損なわずにラベル付きソースドメイン画像に適応できる非教師付き画像間変換ネットワークは効果的か？
• RQ2 提案された二重ブランチ敵対的ネットワーク（DAN）は、車両再識別において、既存のGANベース手法と比較して、スタイル転送とアイデンティティ保持の両面で優れているか？
• RQ3 ドメイン変換画像で学習した際、注目ベースの特徴学習モジュール（ATTNet）は再識別性能をどの程度向上させるか？
• RQ4 提案されたDAVRフレームワークは、VeRi-776やVehicleIDといったクロスドメイン車両再識別ベンチマークで最先端の性能を達成するか？
• RQ5 照明、視点、背景が異なる多様な実世界シナリオに対しても、このフレームワークは汎化可能か？

主な発見

• ATTNetを用いてVehicleIDで学習しVeRi-776でテストした場合、mAPが4.35%向上した。
• VeRi-776で学習しVehicleIDでテストした場合、ATTNetモジュールを用いることでランク-1精度が9.05%向上した。
• CMC曲線は、両データセットの全テストセットサイズ（800～3200台）において一貫して顕著な改善を示した。
• t-SNE可視化により、DAVRで学習された特徴はベースラインモデルと比較して、クラス分離性が高く、クラス内分散が小さくなった。
• 図11のリトリーブ結果は、視点や照明の変化に対してもロバストであることを示し、厳しい条件下でも正しくマッチした画像が検索された。
• アブレーションスタディにより、画像変換（DAN）と特徴学習（ATTNet）の両モジュールが全体の性能向上に不可欠であることが確認された。