[論文レビュー] Federated and Generalized Person Re-identification through Domain and Feature Hallucinating

Fengxiang Yang, Zhun Zhong+3 more|arXiv (Cornell University)|Mar 5, 2022

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

本論文は、フェデレーテッドドメイン一般化のための新規手法であるドメインおよび特徴量ハリューシネーション（DFH）を提案する。この手法は、クライアント間でドメインレベルの特徴量統計（DFS）を共有することで、モデルの一般化性能を向上させる。ランダムな再重み付けを用いて新たなドメイン統計を合成し、アフィン変換による特徴量ハリューシネーションを適用することで、局所学習中に多様で類似性を保った特徴量を生成する。この手法は、データ漏洩を伴わず、4つの大規模な再識別ベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we study the problem of federated domain generalization (FedDG) for person re-identification (re-ID), which aims to learn a generalized model with multiple decentralized labeled source domains. An empirical method (FedAvg) trains local models individually and averages them to obtain the global model for further local fine-tuning or deploying in unseen target domains. One drawback of FedAvg is neglecting the data distributions of other clients during local training, making the local model overfit local data and producing a poorly-generalized global model. To solve this problem, we propose a novel method, called "Domain and Feature Hallucinating (DFH)", to produce diverse features for learning generalized local and global models. Specifically, after each model aggregation process, we share the Domain-level Feature Statistics (DFS) among different clients without violating data privacy. During local training, the DFS are used to synthesize novel domain statistics with the proposed domain hallucinating, which is achieved by re-weighting DFS with random weights. Then, we propose feature hallucinating to diversify local features by scaling and shifting them to the distribution of the obtained novel domain. The synthesized novel features retain the original pair-wise similarities, enabling us to utilize them to optimize the model in a supervised manner. Extensive experiments verify that the proposed DFH can effectively improve the generalization ability of the global model. Our method achieves the state-of-the-art performance for FedDG on four large-scale re-ID benchmarks.

研究の動機と目的

• 局所データの過学習によるフェデレーテッド学習における人物再識別における一般化性能の低さを是正すること。
• 中央集権的な生データの集約を伴わず、フェデレーテッド環境下でのドメイン一般化を可能にすること。
• 局所学習中に多様で未知のドメイン分布を模擬することで、グローバルモデルの一般化性能を向上させること。
• 異なるドメイン間で特徴量をハリューシネートする際のペアワイズ類似性を維持する手法を開発すること。

提案手法

• 本手法は、生データを送信せずに、クライアント間でドメインレベルの特徴量統計（DFS）—各アイデンティティごとの平均と分散—を共有する。
• ドメインハリューシネーション（DH）を導入し、共有されたDFSをランダムに抽出した重みで再重み付けすることで、新たなドメイン統計を合成する。
• 特徴量ハリューシネーション（FH）は、合成された新しい統計を用いて局所特徴量にアフィン変換を適用し、特徴量分布の多様性を高める。
• ハリューシネートされた特徴量は元のペアワイズ類似性を保ち、局所学習中の教師あり最適化を可能にする。
• 学習パイプラインは、DFHを用いた局所学習、モデルとDFSのクライアントからサーバーへの更新、サーバー側でのモデル集約、およびグローバルモデルと更新済みDFSの再配布を交互に実行する。
• 複数エポックにわたってこのプロセスを繰り返すことで、局所モデルおよびグローバルモデルの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメインレベルの特徴量統計の共有は、データ集約なしにフェデレーテッド人物再識別における一般化性能を向上させることができるか？
• RQ2 局所学習中に、局所データ分布への過学習を防ぐために、多様で現実的な訓練サンプルをどのように生成できるか？
• RQ3 特徴量ハリューシネーションの過程でペアワイズ類似性を維持することで、マルチドメイン再識別におけるモデル一般化性能が向上するか？
• RQ4 提案手法は、フェデレーテッドドメイン一般化ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法DFHは、フェデレーテッドドメイン一般化設定下で4つの大規模な再識別ベンチマークで最先端の性能を達成した。
• MS+C2+M → C3設定では、56.5%のランク-1精度と31.3%のmAPを達成し、ベースライン手法を上回った。
• 収束解析から、MS+C2+M → C3設定では35エポック目でモデルが安定することが示され、効果的な学習ダイナミクスであることが裏付けられた。
• D2Dを用いた画像回復実験では、共有されたDFSから再構成された画像はぼやけており、識別不能であった。これはDFSが機微な情報を漏洩していないことを確認した。
• t-SNE可視化から、DFHはベースラインのミックスアップ手法よりも多様な特徴量を生成しており、ドメイン間一般化性能が向上し、クラス内類似性が保持されていることが確認された。