[論文レビュー] A Multi-task Deep Network for Person Re-identification

Weihua Chen, Xiaotang Chen+2 more|arXiv (Cornell University)|Jul 19, 2016

Video Surveillance and Tracking Methods参考文献 27被引用数 12

ひとこと要約

本論文は、人物再識別における二値分類損失とランク付け損失を同時に最適化するマルチタスク深層ネットワーク（MTDnet）を提案し、単一損失手法に比べて顕著な性能向上を達成している。この手法は、SOTAランク-1正答率74.68％を達成するCUHK03など、複数のベンチマークで最先端の結果を示しており、大規模なソースデータセットからの知識移行を活用したクロスドメインアーキテクチャにより、小規模データに対する一般化性能をさらに向上させている。

ABSTRACT

Person re-identification (ReID) focuses on identifying people across different scenes in video surveillance, which is usually formulated as a binary classification task or a ranking task in current person ReID approaches. In this paper, we take both tasks into account and propose a multi-task deep network (MTDnet) that makes use of their own advantages and jointly optimize the two tasks simultaneously for person ReID. To the best of our knowledge, we are the first to integrate both tasks in one network to solve the person ReID. We show that our proposed architecture significantly boosts the performance. Furthermore, deep architecture in general requires a sufficient dataset for training, which is usually not met in person ReID. To cope with this situation, we further extend the MTDnet and propose a cross-domain architecture that is capable of using an auxiliary set to assist training on small target sets. In the experiments, our approach outperforms most of existing person ReID algorithms on representative datasets including CUHK03, CUHK01, VIPeR, iLIDS and PRID2011, which clearly demonstrates the effectiveness of the proposed approach.

研究の動機と目的

• 人物再識別の分野で、二値分類損失やランク付け損失にのみ依存する手法には、最適でない特徴学習を引き起こす可能性のある最適化目的の対立という限界があることに対処する。
• 分類とランク付けの両タスクを1つの深層ネットワークに統合し、特徴表現の向上に寄与する相補的な強みを活用する。
• 十分なトレーニングデータが入手できない小規模な人物ReIDデータセットにおける性能向上を図るため、知識移行を可能にするクロスドメインアーキテクチャを導入する。
• 統一されたネットワークアーキテクチャ内で複数の損失を同時に最適化することで、別々に学習するかスコアレベルの融合を施すのとは対照的に、より優れた性能が得られることを示す。

提案手法

• MTDnetアーキテクチャは、深層畳み込みネットワークの異なる層で二値分類損失とトリプレットランク付け損失を同時に最適化することで、判別性の高い特徴と相対的距離制約の両方を同時に学習可能である。
• 分類損失は最終全結合層に適用され、正例対と負例対の正しく分類されるよう促進される。一方、ランク付け損失はより前の畳み込み層に適用され、相対的距離順序が保たれるよう制約される。
• 大規模なソースデータセット（例：CUHK03）から事前学習されたモデルを用いて、ソースドメインとターゲットドメインの両方のネットワークを初期化するクロスドメインアーキテクチャを提案する。これにより、大規模なソースドメインからターゲット小規模データセットへの知識移行が可能になる。
• トレーニング中はソースドメインネットワークは固定され、ターゲットドメインネットワークは統合マルチタスク損失を用いて微調整される。推論時には、ターゲットドメインネットワークのみが使用される。
• ネットワークは、分類とランク付けの両目的をバランスさせる組み合わせ損失関数を用いて、エンドツーエンドのバックプロパゲーションで学習される。
• 本手法は、5つの標準的なReIDデータセット（CUHK03、CUHK01、VIPeR、iLIDS、PRID2011）で評価され、ランク-1正答率とCMC曲線を指標に性能が測定されている。

実験結果

リサーチクエスチョン

• RQ1 単一の深層ネットワーク内で分類損失とランク付け損失を同時に最適化することで、単独で使用するいずれの損失よりも人物再識別性能が向上するか？
• RQ2 両タスクの統合により、分類損失の限界（誤分類率を低くするモデルに偏るが、正しい順序付け結果を得られない）が緩和されるか？
• RQ3 大規模なソースデータセット（例：CUHK03）から知識を移行するクロスドメインアーキテクチャが、小規模なターゲットデータセットにおける性能向上に有効であるか？
• RQ4 本手法で提案されたマルチタスクネットワークは、多様なデータセットにおいて、SOTA手法と比較してランク-1正答率およびCMC性能で優れているか？

主な発見

• 提案されたマルチタスクネットワーク（MTDnet）は、CUHK03データセットで74.68％のランク-1正答率を達成し、比較対象のすべての手法（SOTA手法も含む）を上回っている。
• 4つの小規模データセット（CUHK01、VIPeR、iLIDS、PRID2011）において、MTDnetは分類損失またはランク付け損失のみで学習した単一タスクベースラインを一貫して上回っている。
• クロスドメインアーキテクチャ（MTDnet-cross）は、標準的な微調整（MTDnet）と比較して、小規模データセットにおける性能を顕著に向上させており、大規模ソースドメインからの知識移行の有効性を示している。
• MTDnet-aug（ソースとターゲットデータを直接混合したデータ拡張ベースライン）よりもMTDnet-crossの性能が優れていることから、直接的なデータ混合は一般化性能に悪影響を及ぼす可能性があることが示された。
• アブレーションスタディの結果、最終層における分類損失が性能向上に顕著に寄与していることが確認され、MTDnet（両損失あり）がMTDtrp（ランク付けのみ）を大きく上回っている。
• 結果から、1つのネットワーク内で両損失を同時に最適化することは、スコアレベルの融合や別々の学習よりも効果的であり、2つのタスクの相補性が裏付けられている。