[論文レビュー] Video Person Re-ID: Fantastic Techniques and Where to Find Them

Priyank Pathak, Amir Erfan Eshratifar+1 more|arXiv (Cornell University)|Nov 21, 2019

Video Surveillance and Tracking Methods参考文献 4被引用数 7

ひとこと要約

本論文は、オンラインソフトマイニング（OSM）、センター損失（CL）のセンター、および時間的アテンションネットワーク内でのアテンションベースの特徴集約を組み合わせた、新しいハイブリッド損失関数「アテンションとCL損失」を提案する。本手法は、Bag-of-Tricksおよびハイパーパrameter最適化を用いて、MARSおよびPRID 2011データセットで最先端性能を上回り、再ランク付きで82.9% mAP、PRID 2011で96.6% CMC-1を達成した。

ABSTRACT

The ability to identify the same person from multiple camera views without the explicit use of facial recognition is receiving commercial and academic interest. The current status-quo solutions are based on attention neural models. In this paper, we propose Attention and CL loss, which is a hybrid of center and Online Soft Mining (OSM) loss added to the attention loss on top of a temporal attention-based neural network. The proposed loss function applied with bag-of-tricks for training surpasses the state of the art on the common person Re-ID datasets, MARS and PRID 2011. Our source code is publicly available on github.

研究の動機と目的

• アテンション機構と高度な損失関数を組み合わせることで、動画ベースの人物再識別精度を向上させること。
• 時間的モデリングを用いて、遮蔽、視点の変化、照明の変化といった人物Re-IDの課題に取り組むこと。
• センター損失、オンラインソフトマイニング、アテンションベースのフレーム重み付けを統合することで、モデルのロバスト性と一般化性能を向上させること。
• アーキテクチャ的およびトレーニング的イノベーションの組み合わせにより、MARSおよびPRID 2011のベンチマークデータセットで既存の最先端結果を上回ること。

提案手法

• モデルは、フレームレベルの特徴を抽出するために事前学習済みのResNet-50を用い、その後に時間的アテンション機構を適用してフレーム間の重み付き和を計算する。
• ハイブリッド損失関数「アテンションとCL損失」は、アテンション損失、OSM損失、およびクラスに依存するセンター・ベクトルを用いたセンター損失（CL）を組み合わせる。
• アテンション損失は、バイナリラベル（関連するフレームに対して1、削除されたフレームに対して0）で重み付けされたフレームレベルのアテンションスコアの平均として定義され、クリアで情報豊富なフレームへの注目を促進する。
• トレーニング中にランダムエラージングの拡張を適用し、遮蔽をシミュレートする。削除されたパッチを含むフレームは、アテンション損失によって明示的にペナルティが科される。
• Bag-of-Tricksトレーニング戦略には、ラベルスムージング、ウォームアップ学習率、分類層前のバッチ正則化、コサインマージントリプルット損失が含まれる。
• ハイパーパrameter最適化は、FacebookのAxツールを用いて実施され、MARSおよびPRID 2011におけるモデル性能の微調整が行われた。

実験結果

リサーチクエスチョン

• RQ1 OSM、センター損失、アテンションを組み合わせたハイブリッド損失が、既存の最先端手法を上回る動画ベースの人物Re-ID性能を実現できるか？
• RQ2 センター損失からのセンター・ベクトルをクラス表現として統合することで、フレームレベルのアテンションとモデルのロバスト性はどのように向上するか？
• RQ3 ランダムエラージング拡張とアテンションベースの損失を組み合わせることで、遮蔽や視覚的変動にさらされた状況下での一般化性能はどの程度向上するか？
• RQ4 提案された「アテンションとCL損失」とBag-of-Tricks技術の組み合わせが、複数のベンチマークで一貫した性能向上をもたらすか？
• RQ5 アテンション機構がノイズの多いフレームを抑制する能力が、MARSおよびPRID 2011におけるmAPおよびCMCスコアの向上にどのように寄与するか？

主な発見

• 提案手法は、再ランク付きでMARSデータセットで82.9% mAP、CMC-1が88.6%を達成し、再ランクなしで81.2% mAP、86.2% CMC-1を記録した既存のSOTAを上回った。
• PRID 2011では、MARSで事前学習したモデルが96.6% CMC-1を達成し、同じデータセットで96.1% CMC-1を記録したSOTAを上回った。
• Bag-of-Tricksと「アテンションとCL損失」の組み合わせにより、MARSで82.9% mAP、88.6% CMC-1を達成し、ベースラインモデル比で6.2%の向上を示した。
• OSM損失にCLセンターを用いることで、分散が大きくノイズの多いフレームをより正確に同定・低減することができた。
• 再ランク処理により、さらに性能が向上し、最良の設定でMARSで98.5% CMC-20、PRID 2011で100% CMC-20を達成した。
• 分類層前のバッチ正則化は、非正則化された特徴よりもよりロバストな特徴を生成し、一般化性能の向上に寄与したことが判明した。