[論文レビュー] Rethinking the Distribution Gap of Person Re-identification with Camera-based Batch Normalization

Zijie Zhuang, Longhui Wei+6 more|arXiv (Cornell University)|Jan 23, 2020

Video Surveillance and Tracking Methods参考文献 58被引用数 6

ひとこと要約

本稿では、トレーニングおよびテスト中に各カメラごとに入力を標準化することで、人物再識別（ReID）におけるすべてのカメラ間の特徴分布を揃える、Camera-based Batch Normalization（CBN）という新しい手法を提案する。明示的にカメラ間の分布ギャップを縮小することで、未観測のカメラへの強力な一般化を可能にし、インtra-cameraのアノテーションのみを用いても競争力あるReID性能を達成できる。直接転送では最高で14.2%高いRank-1精度を達成し、インクリメンタル学習では9.7%の記憶の損失を低減した。

ABSTRACT

The fundamental difficulty in person re-identification (ReID) lies in learning the correspondence among individual cameras. It strongly demands costly inter-camera annotations, yet the trained models are not guaranteed to transfer well to previously unseen cameras. These problems significantly limit the application of ReID. This paper rethinks the working mechanism of conventional ReID approaches and puts forward a new solution. With an effective operator named Camera-based Batch Normalization (CBN), we force the image data of all cameras to fall onto the same subspace, so that the distribution gap between any camera pair is largely shrunk. This alignment brings two benefits. First, the trained model enjoys better abilities to generalize across scenarios with unseen cameras as well as transfer across multiple training sets. Second, we can rely on intra-camera annotations, which have been undervalued before due to the lack of cross-camera information, to achieve competitive ReID performance. Experiments on a wide range of ReID tasks demonstrate the effectiveness of our approach. The code is available at https://github.com/automan000/Camera-based-Person-ReID.

研究の動機と目的

• 人物再識別（ReID）におけるカメラ間の分布ギャップという根本的な課題に対処すること。これは、モデルの一般化性能と転移可能性を制限する要因である。
• 高価なinter-cameraアノテーションに依存するのを避け、intra-cameraアノテーションのみで有効な学習を可能にする。
• カメラ固有の特徴分布を明示的に揃えることで、未観測のカメラやデータセット間でのモデルの一般化性能と転移性能を向上させる。
• データセット固有のカメラ相関からReID学習を分離するカメラベースの定式化を提案し、耐障害性とスケーラビリティを向上させる。

提案手法

• トレーニング中にカメラ固有のバッチ統計を使用して、各カメラごとに入力特徴を標準化する、バッチ正規化の改良版であるCamera-based Batch Normalization（CBN）を導入する。
• 推論時には、各カメラのテスト入力をそのカメラのトレーニング分布に合わせるため、各カメラごとに少数のサンプルのみでカメラ固有の統計を推定する。
• バックボーンネットワークのすべてのバッチ正規化層にCBNを適用することで、すべての層および特徴階層にわたる一貫性のある分布揃えを保証する。
• インクリメンタル学習においては、現在のトレーニングデータと、1人1人あたり1枚の画像を含む小さなエクジンプラメモリを融合する混合サンプリング戦略を採用する。
• メモリサイズを最小限に抑えつつ知識保持を最大化するため、カメラカバレッジとアイデンティティ表現のバランスを取るグリーディーなエクジンプラメモリ構築アルゴリズムを設計する。
• すべてのBN層をCBN層に置き換えることで、ネットワーク全体にわたる一貫性のある分布揃えを保証する。部分的な置き換えでは、カメラ固有正規化のコアな原則が損なわれる。

実験結果

リサーチクエスチョン

• RQ1 トレーニングおよび推論時にカメラごとの正規化を適用することで、人物再識別におけるカメラ間の分布ギャップを効果的に縮小できるか？
• RQ2 inter-cameraアノテーションが存在しない状況で、intra-cameraアノテーションのみでどれほど競争力あるReID性能を達成できるか？
• RQ3 従来のバッチ正規化と比較して、CBNは未観測のカメラやデータセット間でのモデルの一般化性能と転移性をどのように向上させるか？
• RQ4 すべてのBN層をCBN層に置き換えることで、インクリメンタル学習の性能と知識保持にどのような影響を与えるか？
• RQ5 提案されたカメラベースの定式化は、inter-cameraアノテーションを必要とせずに、効果的なドメイン適応と直接転送を可能にするか？

主な発見

• CBNは、DukeからMarket-1501への直接転送において、標準BNおよびAdaBNを上回り、Rank-1精度が相対的に14.2%向上した。
• インクリメンタル学習において、CBNベースの手法は従来のBNベースのアプローチと比較して、Rank-1精度の記憶損失を9.7%低減した。
• inter-cameraアノテーションがなくても、intra-cameraアノテーションのみを用いた弱教師ありパイプラインが、複数のReIDデータセットで競争力ある性能を達成した。
• すべてのBN層をCBNに置き換えることで最良の性能が得られ、直接転送では72.7%のRank-1精度を達成した。一方、部分的な置き換えでは最適でない結果となった。
• グリーディーなアルゴリズムによって構築されたエクジンプラメモリは、元のトレーニングデータセットの3.4%〜5.5%のサイズにまで縮小しながら、継続的学習に不可欠な知識を保持した。
• 広範な実験により、CBNが完全教師あり、ドメイン適応、直接転送、インクリメンタル学習の各タスクにおける一般化性能と転移性を向上させることを確認した。