[논문 리뷰] User-Level Membership Inference Attack against Metric Embedding Learning

Guoyao Li, Shahbaz Rezaei외 1명|arXiv (Cornell University)|2022. 03. 04.

Autopsy Techniques and Outcomes인용 수 10

한 줄 요약

이 논문은 정확한 훈련 샘플에 접근할 필요 없이 잠재 공간 내 군집의 조밀도를 활용하여 메트릭 임bedding 모델에 대해 사용자 수준의 멤버십 유추 공격을 제안한다. 이는 목표 사용자의 이미지가 훈련에 사용되었는지 여부를 판단하기 위한 것으로, 최신 기술 성능(마켓-1501에서 최대 91.73%)을 달성한다. 평균 군집 중심 거리와 평균 상호 거리의 특징을 사용하여, 기존 공격들조차도 현실적인 제약 조건 하에서도 슈퍼리어한 성능을 보인다.

ABSTRACT

Membership inference (MI) determines if a sample was part of a victim model training set. Recent development of MI attacks focus on record-level membership inference which limits their application in many real-world scenarios. For example, in the person re-identification task, the attacker (or investigator) is interested in determining if a user's images have been used during training or not. However, the exact training images might not be accessible to the attacker. In this paper, we develop a user-level MI attack where the goal is to find if any sample from the target user has been used during training even when no exact training sample is available to the attacker. We focus on metric embedding learning due to its dominance in person re-identification, where user-level MI attack is more sensible. We conduct an extensive evaluation on several datasets and show that our approach achieves high accuracy on user-level MI task.

연구 동기 및 목표

• 기록 수준의 멤버십 유추 공격가 실용적인 제약을 해결하기 위해, 정확한 훈련 샘플에 접근이 필요하다는 점—실제 응용 분야(예: 사람 재식별)에서는 비현실적이라는 점을 해결한다.
• 정확한 훈련 샘플이 없더라도, 목표 사용자의 어떤 이미지가 훈련에 사용되었는지 여부를 판단할 수 있는 사용자 수준의 멤버십 유추 공격을 개발한다.
• 메트릭 임베딩 학습에 적용할 수 있는 신뢰도 기반 멤버십 유추 공격의 도전 과제를 해결한다. 이는 출력에서 신뢰도 점수를 제공하지 않기 때문이다.
• 잠재 공간의 구조적 특성, 특히 군집의 조밀도를 활용하여 효과적인 멤버십 유추를 가능하게 하는 방법을 설계한다.

제안 방법

• 공격은 두 가지 핵심 특징을 사용한다: 사용자 소속의 비훈련 이미지들이 군집 중심(C_u)까지의 평균 거리와, 그들 사이의 평균 상호 거리(P_u)이며, 모두 잠재 공간에서 계산된다.
• 훈련에 사용된 사용자 소속의 이미지들은 임베딩 공간에서 더 조밀한 군집을 이룬다는 가정을 하며, 이는 다양한 데이터셋에서 경험적으로 검증된다.
• 이러한 조밀도 특징을 기반으로 이진 분류기를 구축하여, 목표 사용자의 어떤 이미지도 훈련 세트에 포함되었는지 예측한다.
• 모델의 신뢰도나 특정한 증강 패턴에 의존하지 않기 때문에, 훈련 중에 알려지지 않은 데이터 증강이 적용된 경우에도 공격이 강건하다.
• 공격자가 훈련 증강에 대한 지식이 없을 경우, 특히 기존의 기록 수준 공격(예: EncoderMI)을 사용자 수준 설정에 적용한 것보다도 성능이 뛰어나다.
• 이 방법은 마켓-1501과 PRID-201에서 평가되었으며, 목표 사용자의 비훈련 이미지만 제공된 경우에도 높은 정확도를 보였다.

실험 결과

연구 질문

• RQ1 정확한 훈련 샘플이 없을 경우, 메트릭 임베딩 모델에서 사용자 수준의 멤버십 유추 공격가 효과적으로 적용될 수 있는가?
• RQ2 신뢰도 점수가 없는 메트릭 임베딩 학습 환경에서 멤버십 유추는 어떻게 달성할 수 있는가?
• RQ3 잠재 공간 내 사용자 전용 군집의 조밀도가 훈련 세트에 포함된 여부와 상관이 있으며, 이를 유추에 활용할 수 있는가?
• RQ4 공격자가 지식 수준이 다양한 조건에서, 제안된 사용자 수준 공격이 적응된 기록 수준 공격(예: EncoderMI)과 비교해 성능가 어떻게 되는가?
• RQ5 훈련 이미지의 부분적 접근이 사용자 수준 멤버십 유추 정확도에 어떤 영향을 미치는가?

주요 결과

• 공격자가 목표 사용자의 비훈련 이미지만 제공된 경우, 마켓-1501에서 66.87%의 정확도, PRID-201에서 74.27%의 정확도를 달성한다.
• 공격자가 훈련 이미지의 75%에 접근할 수 있을 경우, 마켓-1501에서 정확도가 90.00%로 상승하고, PRID-201에서는 78.40%에 이를 수 있다.
• 모든 훈련 이미지(100%)에 접근할 경우, 마켓-1501에서 91.73%의 정확도를 기록하며, 마켓-1501의 정밀도는 100.0%로 완벽하다.
• 절단 분석 결과, 두 가지 조밀도 특징(C_u 및 P_u)을 모두 사용할 경우 가장 높은 정확도(마켓-1501에서 66.87%)를 달성하지만, 단일 특징만 사용하더라도 양호한 성능을 보인다.
• EncoderMI가 훈련 증강에 대한 전체 지식을 가진 상태에서도, 제안된 공격이 슈퍼리어한 성능을 보이며 군집 조밀도 접근 방식의 우수성을 입증한다.
• 신뢰도 기반 공격가 메트릭 임베딩 환경에서 실패하는 것과는 달리, 이 방법은 공격자가 증강에 대한 지식이 제한된 현실적인 조건에서도 효과적으로 작동한다.