[論文レビュー] Debiased Batch Normalization via Gaussian Process for Generalizable Person Re-Identification

Jiawei Liu, Zhipeng Huang+3 more|arXiv (Cornell University)|Mar 3, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、一般化可能な人物再識別のための新規のバイアス除去バッチ正規化手法GDNormを提案する。この手法は、未学習ドメインに対するバイアスを低減するために、ドメイン固有のバッチ正規化統計を動的かつ自己強化型のガウス過程としてモデル化する。推論時にガウス過程の平均パスを活用することで、最小限の計算コストで一般化性能を向上させ、未学習ドメインにおいてベースライン比でR1スコアが2.8%向上し、mAPが4.7%向上する最先端の性能を達成した。

ABSTRACT

Generalizable person re-identification aims to learn a model with only several labeled source domains that can perform well on unseen domains. Without access to the unseen domain, the feature statistics of the batch normalization (BN) layer learned from a limited number of source domains is doubtlessly biased for unseen domain. This would mislead the feature representation learning for unseen domain and deteriorate the generalizaiton ability of the model. In this paper, we propose a novel Debiased Batch Normalization via Gaussian Process approach (GDNorm) for generalizable person re-identification, which models the feature statistic estimation from BN layers as a dynamically self-refining Gaussian process to alleviate the bias to unseen domain for improving the generalization. Specifically, we establish a lightweight model with multiple set of domain-specific BN layers to capture the discriminability of individual source domain, and learn the corresponding parameters of the domain-specific BN layers. These parameters of different source domains are employed to deduce a Gaussian process. We randomly sample several paths from this Gaussian process served as the BN estimations of potential new domains outside of existing source domains, which can further optimize these learned parameters from source domains, and estimate more accurate Gaussian process by them in return, tending to real data distribution. Even without a large number of source domains, GDNorm can still provide debiased BN estimation by using the mean path of the Gaussian process, while maintaining low computational cost during testing. Extensive experiments demonstrate that our GDNorm effectively improves the generalization ability of the model on unseen domain.

研究の動機と目的

• テスト時にターゲットデータにアクセスできない未学習ドメインにおける人物再識別のドメインシフトの課題に対処すること。
• 限定されたソースドメインに起因するバッチ正規化統計に起因するバイアスを克服し、モデルの一般化性能を向上させること。
• ドメイン固有のBNパラメータを自己強化型のガウス過程としてモデル化することで、真のデータ分布を近似し、一般化性能を向上させること。
• アンサンブル手法と比較して計算コストを低減しながら、未学習ドメインにおける性能を維持または向上させること。
• ドメイン一般化設定下で、オープンセット検索における効果的な特徴表現学習を可能にすること。

提案手法

• 各ソースドメインに対してドメイン固有のバッチ正規化層を複数学習し、ドメイン固有の特徴を捉える。
• これらのドメイン固有BN層のパラメータを観測値として用い、ドメイン統計の背後にある分布をモデル化するガウス過程を学習する。
• サンプルパスからガウス過程を動的に自己強化し、フィードバックループでソースドメインのBNパラメータを再最適化する。
• 未学習ドメインの最適なBN統計を、ガウス過程の平均パスを用いて推定する。これは未学習ドメインの最も可能性の高い分布を表す。
• 推論時に平均パスをBN層のパラメータとして適用し、複数のモデルを訓練またはデプロイする必要を回避する。
• 自己強化プロセスを損失関数内のサンプリング比λによって制御し、ドメイン固有統計とグローバル統計のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化統計をガウス過程としてモデル化することで、人物再識別における未学習ドメインの特徴表現のバイアスを低減できるか？
• RQ2 ガウス過程の自己強化メカニズムは、未学習ドメインにおけるBN統計推定の正確性をどのように向上させるか？
• RQ3 ガウス過程の平均パスをBN推定器として用いることで、個々のドメイン固有モデルやアンサンブル手法を上回る一般化性能を達成できるか？
• RQ4 自己強化プロセスにおけるドメイン固有統計とグローバル統計の最適なトレードオフは、サンプリング比λによってどのように制御されるか？
• RQ5 GDNormは、わずか数個のソースドメインでのみ学習しても、低推論コストで最先端の性能を達成できるか？

主な発見

• Protocol-2において未学習ドメインでベースライン手法と比較してR1スコアが2.8%向上し、mAPが4.7%向上した。
• ガウス過程の平均パスが最良の平均性能を達成し、個々のドメイン固有モデル（例：D, MT, C3）やサンプルパスを上回った。
• 最適なサンプリング比λは0.6であり、このときR1が86.5%、mAPが68.2%を達成した。λが0.6を超えると性能が低下した。
• GDNormの推論は1バッチあたり0.09秒で、3つのドメイン固有ネットワークを備えたアンサンブルモデルの時間の3分の1にまで短縮された。
• 自己強化メカニズムにより、サンプルパスを用いてBNパラメータを繰り返し精錬することで、ガウス過程推定の正確性が顕著に向上した。
• 少数のソースドメインでも強力な一般化性能を維持でき、限られたデータに対してもロバストであることが示された。