[논문 리뷰] FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries

Seng Pei Liew, Tsubasa Takahashi|arXiv (Cornell University)|2020. 10. 27.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 8

한 줄 요약

이 논문은 전이 학습에서 학생 모델에 대한 블랙박스 액세스를 활용하여 기반 교사 모델의 훈련 데이터로부터 비밀 정보를 泄露하는 새로운 추론 공격인 FaceLeaks를 소개한다. 집합 수준의 쿼리와 클래스 기반 추론 전략을 활용함으로써, 저자들은 교사 모델에 직접 액세스하지 않더라도 멤버십 및 속성 추론 공격이 가능하다는 것을 입증하며, 실생활 얼굴 인식 시스템에서 중요한 프라이버시 위험을 드러낸다.

ABSTRACT

Transfer learning is a useful machine learning framework that allows one to build task-specific models (student models) without significantly incurring training costs using a single powerful model (teacher model) pre-trained with a large amount of data. The teacher model may contain private data, or interact with private inputs. We investigate if one can leak or infer such private information without interacting with the teacher model directly. We describe such inference attacks in the context of face recognition, an application of transfer learning that is highly sensitive to personal privacy. Under black-box and realistic settings, we show that existing inference techniques are ineffective, as interacting with individual training instances through the student models does not reveal information about the teacher. We then propose novel strategies to infer from aggregate-level information. Consequently, membership inference attacks on the teacher model are shown to be possible, even when the adversary has access only to the student models. We further demonstrate that sensitive attributes can be inferred, even in the case where the adversary has limited auxiliary information. Finally, defensive strategies are discussed and evaluated. Our extensive study indicates that information leakage is a real privacy threat to the transfer learning framework widely used in real-life situations.

연구 동기 및 목표

• 전이 학습에서 교사 모델의 비밀 훈련 데이터가 직접 액세스 없이 추론될 수 있는지 조사하기 위해.
• 오직 학생 모델 API만을 사용하여 얼굴 인식 시스템에 대한 멤버십 및 속성 추론 공격의 가능성을 탐색하기 위해.
• 기존 기법의 제한 사항을 극복할 수 있는 새로운 추론 전략을 개발하기 위해.
• 실제 구현 환경에서 이러한 프라이버시 유출에 대비한 방어 조치를 평가하기 위해.
• 얼굴 인식과 같은 민감한 응용 분야에서 전이 학습의 실제 세계적 프라이버시 위험을 부각하기 위해.

제안 방법

• 다양한 인스턴스를 통해 쿼리를 집계하는 클래스 기반 추론 전략을 제안하여, 교사 모델의 훈련 데이터에 속하는지 여부를 추론한다.
• 학생 모델의 API에만 상호작용하는 블랙박스 기반 쿼리 공격을 설계하여 현실적인 악성 액세스를 시뮬레이션한다.
• 클래스 간 예측 신뢰도 점수의 통계 분석을 통해 훈련 데이터 멤버십를 나타내는 패턴을 탐지한다.
• 보조 정보 감소 기법을 적용하여, 제한된 보조 지식 조건에서도 민감한 속성을 추론한다.
• 차별적 프라이버시와 적대적 훈련과 같은 방어 메커니즘을 평가하여 추론 위험을 완화한다.
• 실생활 얼굴 인식 벤치마크와 제어된 쿼리 실험을 사용한 체계적인 평가 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 학생 모델에 대한 블랙박스 액세스만을 사용하여 특정 얼굴 이미지가 교사 모델의 훈련 데이터에 포함되었는지 여부를 악성 공격자가 추론할 수 있는가?
• RQ2 부분적인 보조 정보만 있을 때, 학생 모델 쿼리로부터 민감한 속성(예: 성별, 인종)을 어느 정도 추론할 수 있는가?
• RQ3 표준 멤버십 추론 기법이 전이 학습을 통해 훈련된 학생 모델에 적용되었을 때 실패하는 이유는 무엇인가?
• RQ4 교사 모델에 직접 액세스할 수 없음에도 효과적인 추론을 가능하게 하는 새로운 쿼리 전략은 무엇인가?
• RQ5 차별적 프라이버시와 같은 기존 방어 기법이 이러한 추론 공격을 완화하는 데 얼마나 효과적인가?

주요 결과

• 표준 멤버십 추론 공격는 교사 모델의 지식을 정제하는 방식으로 훈련된 학생 모델에 직접 적용될 경우 실패한다.
• 제안된 클래스 기반 추론 전략은 블랙박스 제약 조건 하에서도 높은 정확도로 교사 모델의 훈련 인스턴스 멤버십를 성공적으로 식별한다.
• 성별 및 인종과 같은 민감한 속성은 최소한의 보조 정보와 집합 쿼리 패턴만으로도 상당한 신뢰도로 추론할 수 있다.
• 훈련 데이터 분포나 레이블 구조에 대한 지식이 제한된 상태에서도 공격는 효과성을 유지한다.
• 차별적 프라이버시와 적대적 훈련과 같은 방어 조치는 추론 성공률를 감소시키지만 완전히 제거하지는 못하며, 여전히 취약성이 존재함을 시사한다.
• 본 연구는 전이 학습이 특히 고위험 응용 분야인 얼굴 인식과 같은 분야에서 비현저한 프라이버시 유출 위험을 유발한다는 것을 확인한다.