[논문 리뷰] On Inferring Training Data Attributes in Machine Learning Models

Benjamin Zi Hao Zhao, Hassan Jameel Asghar외 2명|arXiv (Cornell University)|2019. 08. 28.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 6

한 줄 요약

이 논문은 소속성 추론 공격(MIAs)이 속성 추론 공격(AIAs)을 신뢰성 있게 지원할 수 있다는 가정을 도전하며, MIAs가 훈련 데이터 소속자와 유사하지만 비소속자인 대상 간을 구분하지 못함을 입증한다. 저자들은 정확한 일치가 아니라 근접한 타당한 속성 값들을 찾는 데 초점을 맞춘 보다 유연한 '근사 속성 추론' 모델을 제안하며, 이는 근접한 이웃에 대해선 MIAs의 성능이 열악하더라도 여전히 의미 있는 속성 복원을 가능하게 한다.

ABSTRACT

A number of recent works have demonstrated that API access to machine learning models leaks information about the dataset records used to train the models. Further, the work of \cite{somesh-overfit} shows that such membership inference attacks (MIAs) may be sufficient to construct a stronger breed of attribute inference attacks (AIAs), which given a partial view of a record can guess the missing attributes. In this work, we show (to the contrary) that MIA may not be sufficient to build a successful AIA. This is because the latter requires the ability to distinguish between similar records (differing only in a few attributes), and, as we demonstrate, the current breed of MIA are unsuccessful in distinguishing member records from similar non-member records. We thus propose a relaxed notion of AIA, whose goal is to only approximately guess the missing attributes and argue that such an attack is more likely to be successful, if MIA is to be used as a subroutine for inferring training record attributes.

연구 동기 및 목표

• 기계학습 모델에서 소속성 추론 공격(MIAs)이 속성 추론 공격(AIAs)을 효과적으로 지원할 수 있는지 조사하기.
• MIAs가 훈련 데이터 소속자와 유사한 비소속자 간을 신뢰성 있게 구분할 수 있다는 가정을 도전하기.
• 정확한 일치가 아니라 근접한 타당한 속성 값들을 찾는 데 초점을 맞춘 '근사 속성 추론'이라는 보다 유연한 속성 추론 형태를 제안하기.
• 다양한 해밍 거리에서 소속자와 비소속자 간을 구분하는 MIAs의 성능을 실증적으로 평가하기.
• 기존의 MIA 기반 AIA 접근 방식의 한계를 평가하고, 대안 공격 모델을 탐색하기.

제안 방법

• 저자들은 '강력한 소속성 추론'을 정의하여, 주어진 거리 척도를 사용해 특성 공간에서 가까운 비소속자와 소속자를 구분하는 작업으로 정의한다.
• 그들은 '근사 속성 추론'을 제안하며, 이는 정확한 값이 아니라 진짜 속성에 가까운 벡터를 출력하는 것을 목표로 하는 보다 유연한 AIA 변형이다.
• 실험은 Location-30 및 Purchases-2,10,20,50,100 데이터셋에 대해 훈련된 신경망 모델을 대상으로 하며, 모델 출력의 신뢰도 점수를 추론의 기초로 사용한다.
• 저자들은 훈련 소속자로부터 제어된 해밍 거리로 합성된 비소속 벡터를 생성하여, 다양한 거리에서의 MIAs 성능을 테스트한다.
• MIAs 성공 여부는 최고의 신뢰도 점수를 결정 신호로 사용하여, 소속자와 비소속자 간의 식별자 정확도를 측정함으로써 평가된다.
• 공격 성능은 추론된 벡터와 진짜 소속자 벡터 간 평균 해밍 거리를 측정하여 평가하며, 랜덤 추측과 비교한다.

실험 결과

연구 질문

• RQ1 소속성 추론 공격(MIAs)은 특성 공간에서 가까운 비소속자와 훈련 데이터 소속자를 신뢰성 있게 구분할 수 있는가?
• RQ2 비소속자가 훈련 소속자에 가까울 경우, 소속성 추론의 성능이 크게 떨어지는가?
• RQ3 특정 기록이 비소속자들과 유사할 경우, 소속성 추론을 서브루틴으로 사용하여 속성 추론 공격을 성공적으로 수행할 수 있는가?
• RQ4 MIAs가 근접 이웃에서 실패할 경우에도 여전히 효과적인 정확한 속성 추론의 대안은 존재하는가?
• RQ5 소속자와 비소속자 간의 해밍 거리가 신뢰도 점수를 통한 구분 가능성에 어떤 영향을 미치는가?

주요 결과

• 소속성 추론 공격(MIAs)은 특성 공간에서 가까운 비소속자와 훈련 데이터 소속자 간을 구분하지 못하며, 해밍 거리가 작을 경우 랜덤 추측보다 성능이 떨어진다.
• 비소속자와 가장 가까운 훈련 소속자 간의 해밍 거리가 증가할수록 소속성 추론의 성공률이 크게 향상된다.
• Location-30 데이터셋에서 제안된 근사 속성 추론 공격은 진짜 소속자 벡터와의 평균 해밍 거리가 약 6.5를 기록하였으며, 이는 랜덤 추측 기대값인 7.5보다 유의미하게 낮다.
• 공격에서 추론된 벡터의 분포는 진짜 소속자 벡터 근처에 뚜렷하게 집중되어 있어, 이는 타당한 속성 보완을 효과적으로 식별하고 있음을 시사한다.
• 결과적으로, MIAs가 유사한 비소속자와의 혼동으로 인해 정확한 속성 추론에는 효과적이지 않지만, 근사 추론에는 여전히 유용하다는 것이 입증되었다.
• 연구 결과는, 비소속자가 특성 공간에서 소속자에 가까울 때와 누락된 속성 수가 적을 경우, 표준적인 MIA를 AIA의 서브루틴으로 사용할 수 있다는 가정이 잘못되었음을 보여준다.