[논문 리뷰] Where Did You Learn That From? Surprising Effectiveness of Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning.

Maziar Gomrokchi, Susan Amin외 3명|arXiv (Cornell University)|2021. 09. 08.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 5

한 줄 요약

이 논문은 깊이 강화학습(DRL) 모델을 대상으로 하는 멤버십 추론 공격 프레임워크를 제안하며, 훈련 데이터의 시간적 상관관계를 악용하여 OpenAI Gym 작업에서 개별 모드에서는 84%의 정확도, 집합 모드에서는 97%의 정확도로 멤버십을 추론한다. 연구는 DRL 모델 훈련 상태가 프라이버시 누출에 상당한 영향을 미친다는 것을 드러내며, 실세계 적용에 있어 심각한 우려를 제기한다.

ABSTRACT

While significant research advances have been made in the field of deep reinforcement learning, a major challenge to widespread industrial adoption of deep reinforcement learning that has recently surfaced but little explored is the potential vulnerability to privacy breaches. In particular, there have been no concrete adversarial attack strategies in literature tailored for studying the vulnerability of deep reinforcement learning algorithms to membership inference attacks. To address this gap, we propose an adversarial attack framework tailored for testing the vulnerability of deep reinforcement learning algorithms to membership inference attacks. More specifically, we design a series of experiments to investigate the impact of temporal correlation, which naturally exists in reinforcement learning training data, on the probability of information leakage. Furthermore, we study the differences in the performance of \emph{collective} and \emph{individual} membership attacks against deep reinforcement learning algorithms. Experimental results show that the proposed adversarial attack framework is surprisingly effective at inferring the data used during deep reinforcement training with an accuracy exceeding $84\%$ in individual and $97\%$ in collective mode on two different control tasks in OpenAI Gym, which raises serious privacy concerns in the deployment of models resulting from deep reinforcement learning. Moreover, we show that the learning state of a reinforcement learning algorithm significantly influences the level of the privacy breach.

연구 동기 및 목표

• 깊이 강화학습 모델이 이전에 다루지 않은 프라이버시 위협인 멤버십 추론 공격에 얼마나 취약한지 조사하기 위해.
• 강화학습 훈련 데이터의 시간적 상관관계가 정보 누출 및 프라이버시 침해 확률에 어떻게 영향을 미치는지 분석하기 위해.
• DRL 환경에서 개별 공격와 집합 공격의 효과성을 비교하기 위해.
• DRL 에이전트의 학습 상태가 프라이버시 누출 수준에 어떻게 영향을 미치는지 평가하기 위해.
• 산업용 DRL 구현에서 프라이버시 위험을 평가하고 완화하기 위한 프레임워크를 제공하기 위해.

제안 방법

• 멤버십 추론을 위한 DRL에 특화된 적대적 공격 프레임워크를 설계하기 위해.
• DRL 훈련 데이터에 내재된 시간적 상관관계를 활용하여 멤버십 추론 정확도를 향상시키기 위해.
• 효과성을 비교하기 위해 개별 및 집합 멤버십 추론 공격 전략을 모두 구현하기 위해.
• 학습 단계에서 다양한 시점의 DRL 에이전트 상태 표현을 사용하여 프라이버시 누출에 미치는 영향을 평가하기 위해.
• 재현 가능성과 일반화를 확보하기 위해 두 개의 OpenAI Gym 제어 작업에서 공격 성능을 평가하기 위해.
• 정확도와 같은 표준 지표를 사용하여 공격 성공률을 측정하며, 훈련 데이터 멤버와 비멤버를 구분하는 데 중점을 두기 위해.

실험 결과

연구 질문

• RQ1 DRL 훈련 데이터의 시간적 상관관계가 멤버십 추론 공격의 성공률에 어떤 영향을 미치는가?
• RQ2 깊이 강화학습에서 개별 공격와 집합 공격의 비교적 효과성은 어떠한가?
• RQ3 DRL 에이전트의 학습 상태가 프라이버시 누출 위험에 어느 정도 영향을 미치는가?
• RQ4 멤버십 추론 공격는 실세계 DRL 환경, 예를 들어 OpenAI Gym에서 높은 정확도를 달성할 수 있는가?
• RQ5 이러한 결과는 산업 적용에서 DRL 모델의 프라이버시 보존적 구현에 어떤 함의를 갖는가?

주요 결과

• 제안된 멤버십 추론 공격 프레임워크는 두 개의 OpenAI Gym 제어 작업에서 개별 모드에서 84% 이상의 정확도를 달성한다.
• 공격는 집합 모드에서 97%의 정확도에 도달하여, 다수의 데이터 포인트를 함께 분석할 경우 심각한 프라이버시 위험을 드러낸다.
• DRL 훈련 데이터의 시간적 상관관계는 멤버십 추론 공격의 성공 가능성을 상당히 높인다.
• DRL 에이전트의 학습 상태는 프라이버시 침해 수준에 측정 가능하고 뚜렷한 영향을 미치며, 특정 학습 단계는 더 취약하다.
• 결과는 현재 DRL 모델이 멤버십 추론 공격에 매우 취약하다는 것을 시사하며, 실세계 적용에 있어 심각한 우려를 제기한다.
• 연구는 심지어 표준 DRL 훈련 파이프라인을 사용하더라도, 훈련에 사용된 민감한 데이터가 높은 신뢰도로 추론될 수 있음을 드러내며, 중요한 프라이버시 격차를 밝혀낸다.