[논문 리뷰] On the amplification of security and privacy risks by post-hoc explanations in machine learning models

Pengrui Quan, Supriyo Chakraborty외 2명|arXiv (Cornell University)|2022. 06. 28.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 기계학습에서 사후 설명(post-hoc explanations)이 악성 공격의 효율성을 높여 보안 및 개인정보 유출 위험을 증폭시킨다는 것을 보여준다. 이는 기울기 추정을 위한 사전 정보로 설명을 활용함으로써 최대 10×까지 쿼리 수를 감소시키는 세 가지 새로운 설명 유도형 탈출 공격(EGTA, EGSMA, EGSA)을 제안하며, 공격의 정당성을 기울기 분산 감소로 정량화한다. 또한 심각한 소유자 정보 유출 및 모델 추출 성능 향상을 보여준다.

ABSTRACT

A variety of explanation methods have been proposed in recent years to help users gain insights into the results returned by neural networks, which are otherwise complex and opaque black-boxes. However, explanations give rise to potential side-channels that can be leveraged by an adversary for mounting attacks on the system. In particular, post-hoc explanation methods that highlight input dimensions according to their importance or relevance to the result also leak information that weakens security and privacy. In this work, we perform the first systematic characterization of the privacy and security risks arising from various popular explanation techniques. First, we propose novel explanation-guided black-box evasion attacks that lead to 10 times reduction in query count for the same success rate. We show that the adversarial advantage from explanations can be quantified as a reduction in the total variance of the estimated gradient. Second, we revisit the membership information leaked by common explanations. Contrary to observations in prior studies, via our modified attacks we show significant leakage of membership information (above 100% improvement over prior results), even in a much stricter black-box setting. Finally, we study explanation-guided model extraction attacks and demonstrate adversarial gains through a large reduction in query count.

연구 동기 및 목표

• 사후 설명이 기계학습 모델에서 악성 공격에 활용 가능한 새로운 측면 채널을 어떻게 드러내는지 체계적으로 분석하는 것.
• 쿼리 복잡도를 줄이면서도 높은 성공률을 유지하는 새로운 설명 유도형 블랙박스 탈출 공격을 개발하는 것.
• 설명으로부터 얻는 악성 공격의 이점이 추정 기울기의 분산 감소로 정량화되는 방식을 규명하는 것.
• 설명을 활용한 소유자 정보 유추 공격을 재평가하여 이전 연구보다 훨씬 높은 정보 유출 수준을 보여주는 것.
• 설명이 모델 추출 공격에 미치는 영향을 조사하여 쿼리 수의 상당한 감소를 보여주는 것.

제안 방법

• 기울기 추정을 위한 탐색 분포를 형상화하기 위해 설명을 전이 사전(transfer prior)으로 사용하는 설명 유도형 전이 공격(EGTA)을 제안한다.
• 피해자 모델의 결정을 모방하기 위해 설명을 사용해 서rogate 모델을 훈련시키는 설명 유도형 서rogate 모델 공격(EGSMA)을 도입한다.
• 절대 기울기 값이 설명에 포함될 경우, 설명을 사용해 기울기 탐색 분포의 공분산 행렬을 정의하는 설명 유도형 샘플링 공격(EGSA)을 개발한다.
• 설명으로부터 얻는 악성 공격의 이점을 추정 기울기의 총 분산 감소로 정량화하며, 이는 가우시안 분포에 대한 KL 발산 최소화를 통해 수식화된다.
• 소유자 정보 유추 공격에서 설명 분산을 계산할 때 로짓 대신 소프트맥스 출력 점수를 사용하여 탐지 정확도를 향상시킨다.
• 설명의 평균 제곱값(MSV)과 모델 추출 공격의 효율성 간의 관계를 연결하며, 높은 MSV일수록 더 큰 악성 공격 이점이 있음을 보여준다.

실험 결과

연구 질문

• RQ1 사후 설명은 블랙박스 탈출 공격에 성공하기 위해 필요한 쿼리 수를 얼마나 줄일 수 있는가?
• RQ2 엄격한 블랙박스 환경에서 설명을 어떻게 활용하여 소유자 정보 유추 공격의 효율성을 향상시킬 수 있는가?
• RQ3 설명 품질과 모델 추출 공격에서의 악성 공격 이점 사이의 정량적 관계는 어떠한가?
• RQ4 설명 분산 계산에서 로짓 대신 소프트맥스 점수를 사용할 경우 소유자 정보 유출에 어떤 영향을 미치는가?
• RQ5 설명으로부터 얻는 악성 공격 이점을 정보 이론적 측정법(예: KL 발산)을 사용해 공식적으로 정량화할 수 있는가?

주요 결과

• 제안된 설명 유도형 탈출 공격는 기준 방법 대비 최대 10×까지 쿼리 수를 감소시켜 공격의 실현 가능성을 크게 향상시킨다.
• 설명으로부터 얻는 악성 공격 이점은 추정 기울기의 총 분산 감소와 정량적으로 연관되며, 이는 KL 발산 최소화를 통해 수식화된다.
• 설명 분산을 활용한 소유자 정보 유추 공격는 이전 연구 대비 성공률이 100% 이상 향상되었으며, 더 엄격한 블랙박스 환경에서도 마찬가지로 성과가 뛰어나다.
• 설명 유도형 서rogate 모델 공격(EGSMA)는 설명 유도 데이터를 기반으로 서rogate 모델을 훈련시어 피해자 모델의 결정을 높은 정밀도로 모방한다.
• 설명을 기반으로 하는 모델 추출 공격는 상당한 쿼리 수 감소를 보이며, 악성 공격 이점은 설명의 평균 제곱값(MSV)과 강하게 상관된다.
• 본 연구는 설명이 풍부한 측면 채널을 제공하며, 예측과 설명 외에는 노출되지 않은 모델일지라도 보안과 개인정보 보호를 상당히 약화시킨다는 점을 확인한다.