[논문 리뷰] Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries

Yuxin Wen, Arpit Bansal외 5명|arXiv (Cornell University)|2022. 10. 19.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 표적 데이터 포인트가 포함된 모델과 포함되지 않은 모델을 최대한 구분할 수 있도록 최적화된 앙상블화된 적대적 쿼리를 사용하는 새로운 블랙박스 멤버십 인식 방법인 Canary 공격을 제안한다. 간단한 데이터 증강에 의존하는 것과는 달리, 적대적으로 설계된 구분 능력이 뛰어난 쿼리를 사용함으로써, 특히 법적 집행에 핵심적인 저위험성 가짜 양성 결과를 기록하는 데서도 최신 기술 수준의 성능을 달성하며, 다양한 데이터셋, 아키텍처, 심지어 차별적 프라이버시를 적용한 상황에서도 이전 방법들을 능가한다.

ABSTRACT

As industrial applications are increasingly automated by machine learning models, enforcing personal data ownership and intellectual property rights requires tracing training data back to their rightful owners. Membership inference algorithms approach this problem by using statistical techniques to discern whether a target sample was included in a model's training set. However, existing methods only utilize the unaltered target sample or simple augmentations of the target to compute statistics. Such a sparse sampling of the model's behavior carries little information, leading to poor inference capabilities. In this work, we use adversarial tools to directly optimize for queries that are discriminative and diverse. Our improvements achieve significantly more accurate membership inference than existing methods, especially in offline scenarios and in the low false-positive regime which is critical in legal settings. Code is available at https://github.com/YuxinWenRick/canary-in-a-coalmine.

연구 동기 및 목표

• 모델 가중치가 일반적으로 접근 불가능한 실세계의 법적 및 규제적 맥락에서 효과적인 멤버십 인식이 요구되는 데에 대응하기 위해.
• 기존 멤버십 인식 공격가 단지 원본 데이터 포인트나 기본적인 증강 기법에 의존함으로써 발생하는 흐린 및 정보가 부족한 모델 행동 샘플링의 한계를 극복하기 위해.
• 표적 샘플이 모델의 훈련 세트에 포함되었는지 여부를 신뢰성 있게 탐지할 수 있도록, 매우 구분 능력이 뛰어난 적대적으로 최적화된 쿼리를 생성하는 방법을 개발하기 위해.
• 이러한 적대적 쿼리가 다양한 데이터셋, 모델 아키텍처, 그리고 차별적 프라이버시와 같은 프라이버시 방어 기법에 걸쳐 얼마나 견고하고 전이 가능성이 있는지 평가하기 위해.
• 데이터 소유자와 규제 기관이 데이터 소유권 권리(예: GDPR의 '잊혀질 권리')를 준수하는지 검증할 수 있는 실용적인 도구를 제공하기 위해.

제안 방법

• 이 방법은 표적 데이터 포인트가 포함된 모델과 포함되지 않은 모델 간의 출력 차이를 최대화하도록 특별히 최적화된 적대적 쿼리—변형된 입력—를 구성한다.
• 최적 성능을 위해 사전-소프트맥스 로짓과 카를리니-웨이거(Carlini-Wagner, CW) 손실 목표를 활용한 기울기 기반 최적화 프로세스를 사용하여, 가장 구분 능력이 뛰어난 쿼리 벡터를 생성한다.
• 다양한 모델 아키텍처와 데이터셋에 걸쳐 강건성과 일반화 능력을 향상시키기 위해 이러한 적대적 쿼리의 앙상블을 훈련시킨다.
• 표적 모델의 가중치에 접근할 수 없더라도, 샤로우 모델에서 훈련한 쿼리를 표적 모델로 전이함으로써 전이성을 활용한다.
• 모델의 신뢰도와 출력 로짓을 최적화 목표로 삼으며, 사전-소프트맥스 로짓이 온라인 및 오프라인 설정 모두에서 가장 뚜렷한 향상을 보였다.
• 차별적 프라이버시 적용 시 노름 클리핑과 노이즈 주입을 적용하여 성능 저하와 전이 가능성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 표준 데이터 증강 기법에 비해, 블랙박스 환경에서 적대적으로 최적화된 쿼리는 멤버십 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 표적 모델이 차별적 프라이버시로 훈련된 경우, 앙상블화된 적대적 쿼리는 멤버십 탐지에 얼마나 효과적인가?
• RQ3 예를 들어 사전-소프트맥스 로짓, CW 손실 등 다양한 최적화 목표 중 어느 것이 다양한 모델 아키텍처와 데이터셋에서 가장 강건하고 정확한 멤버십 인식을 제공하는가?
• RQ4 화이트박스 접근 없이도, 샤로우 모델에서 훈련한 적대적 쿼리가 새로운 표적 모델로 효과적으로 전이되는 정도는 어느 정도인가?
• RQ5 제안된 방법은 이전 방법이 실패하는 저위험성 가짜 양성 결과 영역에서도 높은 진짜 양성률을 달성할 수 있는가? 이는 법적 응용에 핵심적이다.

주요 결과

• 오프라인 설정에서 Canary 공격는 1% 가짜 양성률(FPR)일 때 21.98%의 진짜 양성률(TPR)을 기록하며, 같은 조건에서 기준선인 LiRA 방법의 9.85%에 비해 뚜렷한 승리를 거두었다.
• 오프라인 설정에서 가장 성능이 뛰어난 목표—직접적으로 사전-소프트맥스 로짓을 최대화하는 것—은 TPR@1% FPR이 12.60%에 달했으며, 다음으로 성능이 뛰어난 방법보다 2.75% 향상된 성과를 보였다.
• ε=100인 차별적 프라이버시 하에서, Canary 공격는 LiRA의 1.18%에서 1.81%로 TPR@1% FPR을 향상시켜 프라이버시 보호 방어 조치에 대한 강건성을 입증했다.
• 이 방법은 CIFAR-10, SVHN, CelebA 세 가지 데이터셋, ResNet-18, WideResNet, DenseNet, VGG 네 가지 모델 아키텍처, 그리고 온라인 및 오프라인 멤버십 인식 시나리오 전반에서 성능 향상을 일관되게 보였다.
• 강력한 차별적 프라이버시(ε=100) 조건에서도 표적 모델의 테스트 정확도는 88%에서 44%로 감소했지만, Canary 공격는 여전히 기준선 방법보다 측정 가능한 향상을 기록했으며, 이는 그 강건성을 시사한다.
• 사전-소프트맥스 로짓을 최적화 목표로 사용할 경우 성능 향상이 가장 크게 나타났으며, 이는 비표적 클래스의 신뢰도를 명시적으로 억제하지 않음에도 불구하고 멤버십 관련 신호를 효과적으로 포착할 수 있음을 시사한다.