[論文レビュー] Towards Privacy-Preserving Person Re-identification via Person Identify Shift

Shuguang Dou, Xinyang Jiang+3 more|arXiv (Cornell University)|Jul 15, 2022

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

本稿では、人物再識別（ReID）のためのプライバシー保護型脱識別手法であるPerson Identity Shift（PIS）を提案する。PISは、画像ペア間の相対的同一性関係を保ちつつ、歩行者の同一性を新しい架空の同一性へとシフトさせる。変分オートエンコーダーの潜在空間内挿值を活用することで、プライバシー保護とReID性能の間で優れたトレードオフを達成し、Market-1501およびPCBデータセットにおいて、DP-SGD やノイズベースの手法を凌駕する性能を示す。

ABSTRACT

Recently privacy concerns of person re-identification (ReID) raise more and more attention and preserving the privacy of the pedestrian images used by ReID methods become essential. De-identification (DeID) methods alleviate privacy issues by removing the identity-related of the ReID data. However, most of the existing DeID methods tend to remove all personal identity-related information and compromise the usability of de-identified data on the ReID task. In this paper, we aim to develop a technique that can achieve a good trade-off between privacy protection and data usability for person ReID. To achieve this, we propose a novel de-identification method designed explicitly for person ReID, named Person Identify Shift (PIS). PIS removes the absolute identity in a pedestrian image while preserving the identity relationship between image pairs. By exploiting the interpolation property of variational auto-encoder, PIS shifts each pedestrian image from the current identity to another with a new identity, resulting in images still preserving the relative identities. Experimental results show that our method has a better trade-off between privacy-preserving and model performance than existing de-identification methods and can defend against human and model attacks for data privacy.

研究の動機と目的

• 人物再識別（ReID）システムにおけるプライバシー保護とデータ利用可能性のバランスをとる課題に対処すること。
• 絶対的同一性情報を取り除くが、ReIDに不可欠な相対的同一性関係を損なわない脱識別手法を開発すること。
• 同一性のシフトによる弱い暗号化を通じて、プライバシー制約のもとで公開ReIDデータセットをリリース可能にする。
• 人間およびモデルベースのプライバシー攻撃の両方に対抗しつつ、モデル性能を維持すること。
• 高いReID有用性を維持するが、微分プライバシーおよび直接的なデータの不正表示とは異なる実用的代替手法を提供すること。

提案手法

• PISは、元の歩行者画像と参照画像を潜在空間内で補間することで、新しい同一性を持つ画像を生成するため、変分オートエンコーダー（VAE）を用いる。
• 潜在コードの重み付き合成を適用する：$ z = \lambda z_{\text{ref}} + (1-\lambda) z_{\text{src}} $、ここで $ \lambda \in [0,1] $ は混合強度を制御する。
• 各画像は同一性を変更するが、クラス内類似性を保持する。これにより、元々同じ同一性に属する画像は、シフト後も類似した外観を保つ。
• DP-SGDとは異なり、モデルアーキテクチャを変更せず、バッチ正則化層をグループ正則化に置き換える必要もない。
• PISは人間が読める、視覚的に妥当な画像を生成する。これらは元の同一性とは直接関連付けられておらず、ReIDの有用性を損なわず、プライバシーを強化する。
• 性能とプライバシーのトレードオフを定量化するために、ターゲットユーティリティ、プライバシー予算、PU-Scoreを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 絶対的同一性情報を除去しつつ、歩行者画像ペア間の相対的同一性関係を保持できるか？
• RQ2 潜在空間内挿値による同一性シフトが、下流タスクに十分なReID性能を維持できるか？
• RQ3 PISは、微分プライバシー（DP-SGD）およびランダムノイズ注入と比較して、プライバシー・ユーティリティのトレードオフにおいて優れているか？
• RQ4 PISは人間およびモデルベースのプライバシー攻撃の両方に対抗できるか？
• RQ5 PISは、現在プライバシー懸念により制限されている公開ReIDデータセットに適用可能か？

主な発見

• PCBモデルにおいてPISはmAP 47.9、Rank-1正解率73.1を達成し、同じ設定下でDP-SGDが4.5 mAPおよび17.6 Rank-1にとどまるのを大きく上回る。
• ResNet-50ではPISが46.5 mAPおよび67.0 Rank-1を達成したが、DP-SGDは高いプライバシー予算（ε=50）を用いても収束しなかった。
• 視覚的比較により、同一性シフト後も元の同一性に属する画像同士が類似した外観を保つことが示され、高いクラス内一貫性が維持されている。
• 外観コードにランダムなラプラスノイズを追加すると、Rank-1正解率が33.4%に低下するが、PISは73.1を維持しており、PISの優れた有用性保持が裏付けられる。
• PISのPU-Scoreは60.4に達し、ランダムラプラスノイズの45.4を上回り、より優れたプライバシー・ユーティリティのバランスを確認できる。
• PISにより、プライバシーに配慮したReIDデータセットのリリースが可能となり、コミュニティ全体のアクセス促進が可能になる。