[논문 리뷰] Adversarial Neural Network Inversion via Auxiliary Knowledge Alignment

Ziqi Yang, Ee‐Chien Chang외 1명|arXiv (Cornell University)|2019. 02. 22.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 25

한 줄 요약

이 논문은 원본 학습 데이터에 접근할 수 없더라도 예측 출력이 부분적 또는 잘린 경우에도 입력 데이터를 복원할 수 있는 훈련된 역전이 신경망을 사용하는 블랙박스 모델 역전이 공격을 제안한다. 보조 데이터와 잘림 기반 정렬 기법을 활용함으로써, 기존 최적화 기반 및 훈련 기반 접근 방식보다 공격 환경에서 더 높은 정밀도의 복원을 달성한다.

ABSTRACT

The rise of deep learning technique has raised new privacy concerns about the training data and test data. In this work, we investigate the model inversion problem in the adversarial settings, where the adversary aims at inferring information about the target model's training data and test data from the model's prediction values. We develop a solution to train a second neural network that acts as the inverse of the target model to perform the inversion. The inversion model can be trained with black-box accesses to the target model. We propose two main techniques towards training the inversion model in the adversarial settings. First, we leverage the adversary's background knowledge to compose an auxiliary set to train the inversion model, which does not require access to the original training data. Second, we design a truncation-based technique to align the inversion model to enable effective inversion of the target model from partial predictions that the adversary obtains on victim user's data. We systematically evaluate our inversion approach in various machine learning tasks and model architectures on multiple image datasets. Our experimental results show that even with no full knowledge about the target model's training data, and with only partial prediction values, our inversion approach is still able to perform accurate inversion of the target model, and outperform previous approaches.

연구 동기 및 목표

• 원본 학습 데이터에 접근할 수 없는 공격 환경에서의 모델 역전이 문제를 해결하기 위해.
• 대상 모델의 예측 출력에만 블랙박스 접근 권한을 가진 상태에서 효과적인 역전이를 가능하게 하기 위해.
• 이전 방법에서 복원 정확도를 크게 제한하는 부분적 또는 잘린 예측 벡터 문제를 해결하기 위해.
• 원본 학습 데이터가 필요 없이 보조 데이터에서 유래한 데이터 분포를 기반으로 훈련된 기반 모델을 개발하기 위해.
• 소셜 미디어에서 흔히 공유되는 상위-k 예측 출력과 같은 현실적인 제약 조건 하에서도 복원의 강건성과 정밀도를 향상시키기 위해.

제안 방법

• 원본 학습 데이터 대신 더 일반적인 데이터 분포에서 유래한 합성 보조 데이터셋을 사용하여 역전이 신경망을 훈련한다.
• 낮은 신뢰도 점수를 마스킹함으로써 부분 예측 벡터를 처리할 수 있도록 하는 잘림 기반 훈련 기법을 도입한다.
• 훈련 중에 잘린 예측 벡터를 역전이 모델의 입력으로 사용함으로써, 실제로는 상위-k 예측만 제공되는 실세계 시나리오에 일반화할 수 있도록 한다.
• 대상 모델의 예측 공간과 보조 데이터 분포 간의 구조적 유사성을 활용하여 일반화 능력과 복원 품질을 향상시킨다.
• 예측 출력만을 지도로 사용하여 생성된 입력과 진짜 입력 간의 차이를 최소화하는 복원 손실을 최적화함으로써 역전이 모델을 훈련시킨다.
• 학습된 역전이 모델을 사용하여 기울기나 모델 아키텍처 정보 없이도 블랙박스 예측, 포함 잘린 예측까지도 입력을 복원한다.

실험 결과

연구 질문

• RQ1 공격자가 원본 학습 데이터에 접근할 수 없을 때 모델 역전이 공격이 효과적으로 작동할 수 있는가?
• RQ2 상위-k 예측 벡터와 같이 부분적인 예측 정보만 제공될 경우 역전이 성능를 유지할 수 있는가?
• RQ3 더 넓은 분포에서 유래한 보조 데이터가 원본 학습 데이터를 대체하여 역전이 모델을 훈련하는 데 효과적인가?
• RQ4 잘림 기반 훈련 기법이 부분 예측에 대한 역전이 모델의 강건성을 향상시키는가?
• RQ5 최적화 기반 및 전체 데이터 훈련 기반 접근 방식과 비교할 때, 본 연구 방법은 공격 제약 조건 하에서 복원 정밀도 측면에서 어떻게 성능을 내는가?

주요 결과

• 기존 최적화 기반 접근 방식보다 훨씬 높은 복원 정밀도를 달성하였으며, 예측 벡터의 1/5만 이용할 경우에도 성능이 유의미하게 높았다.
• 원본 학습 데이터에 접근이 필요한 기존 훈련 기반 방법보다 보조 데이터로 훈련된 역전이 모델이 더 뛰어난 성능을 보였으며, 이는 보조 데이터 전략의 효과성을 입증한다.
• 잘림 기반 훈련 기법을 통해 역전이 모델이 부분 예측에 일반화할 수 있게 되었고, 과적합을 줄이며 강건성이 향상되었다.
• CelebA 및 ImageNet 등의 이미지 데이터셋에서 상위-5 또는 상위-10 예측만으로도 의미적으로 유의미한 이미지를 높은 시각적 정밀도로 복원하였다.
• 블랙박스 및 부분 예측 제약 조건 하에서 데이터 복원 및 학습 클래스 추론 작업에서 MIA 및 기타 기존 훈련 기반 방법보다 성능이 뛰어났다.
• 결과적으로, 상당히 근본적인 예측 정보(예: 상위-k 점수)조차도 매우 정확한 복원을 가능하게 함을 보여주었으며, 실세계 기계학습 구현에서 심각한 개인정보 유출 위험을 드러냈다.