[논문 리뷰] Security of Deep Learning Methodologies: Challenges and Opportunities

Shahbaz Rezaei, Xin Liu|arXiv (Cornell University)|2019. 12. 08.

Adversarial Robustness in Machine Learning참고 문헌 6인용 수 6

한 줄 요약

이 논문은 기존 보안 연구에서 거의 간과된 분야인 전이 학습, 연합 학습, 메타학습, 수명 주기 학습 등의 딥러닝 방법론에서 고유한 보안 취약점을 식별하고 분석한다. 데이터 오염, 백도어 공격, 프라이버시 泄露 등의 위험을 제기하며, 각 방법론의 아키텍처와 학습 동역학에 맞는 맞춤형 방어 메커니즘의 필요성을 강조한다.

ABSTRACT

Despite the plethora of studies about security vulnerabilities and defenses of deep learning models, security aspects of deep learning methodologies, such as transfer learning, have been rarely studied. In this article, we highlight the security challenges and research opportunities of these methodologies, focusing on vulnerabilities and attacks unique to them.

연구 동기 및 목표

• 표준 딥 네URAL 네트워크를 초월한 기계 학습 방법론에 대한 종합적인 보안 분석 부족을 해결하기 위해.
• 전이 학습 및 메타학습과 같은 방법론에 특화된 데이터 오염, 백도어, 프라이버시 泄露와 같은 새로운 공격 벡터를 식별하고 분류하기 위해.
• 지속적 학습 시스템이 치명적인 기억 상실 공격과 작업 간 백도어 확산에 취약하다는 점을 부각하기 위해.
• 이러한 학습 파aradigm이 초래하는 고유한 위협 표면을 고려할 때, 방법론별 보안 방어의 필요성을 강조하기 위해.
• 미션 크리티컬 응용 분야에 점점 더 널리 채택되고 있는 새로운 기계 학습 방법론을 보호하기 위한 향후 연구를 자극하기 위해.

제안 방법

• 공격를 세 가지 유형으로 분류한다: 회피 공격(대역어 예제), 데이터 오염(학습 데이터 조작), 탐색 공격(멤버십 인식 또는 모델 역행렬과 같은 프라이버시 침해).
• 각 방법론에 대해 위협 모델 프레임워크를 적용하여 공격자의 능력(화이트박스, GRAYBOX, 블랙박스)과 목표(무결성, 가용성, 프라이버시 침해)를 정의한다.
• 전이 학습을 분석할 때, 백도어가 삽입된 사전 학습된 모델이 데이터 오염을 통해 하류 작업에 악영향을 줄 수 있도록 모델링한다.
• 메타학습을 검토할 때 메타러닝의 접근 방식을 고려한다: 제한된 블랙박스 접근은 회피 공격을 어렵게 하지만, 메타데이터 주입을 통한 데이터 오염은 가능하다.
• 지속적 학습을 조사할 때 치명적인 기억 상실 공격 및 작업 간 백도어 지속성의 위험을 평가한다.
• 방어 조치는 각 방법론의 고유한 데이터 플로우, 모델 업데이트 메커니즘, 지식 유지 전략에 맞춰져야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 전이 학습에서 고유한 보안 취약점은 무엇이며, 백도어는 사전 학습된 모델을 통해 어떻게 전파될 수 있는가?
• RQ2 메타학습에서 데이터 오염 공격은 얼마나 실현 가능하며, 공격자는 조작된 메타데이터를 사용해 메타러닝을 조작할 수 있는가?
• RQ3 공격자는 지속적 학습의 지식 유지 목표를 악용해 다수의 작업에 걸쳐 지속적인 백도어를 삽입할 수 있는가?
• RQ4 모델 역행렬이나 멤버십 인식과 같은 탐색 공격은 연합 학습 또는 지속적 학습 시스템에서 프라이버시를 얼마나 심각하게 위협하는가?
• RQ5 기존의 방어 메커니즘은 치명적인 기억 상실이나 메타러닝 오염과 같은 방법론별 위협을 방어하기 위해 어떻게 적응시킬 수 있는가?

주요 결과

• 사전 학습된 모델이 오염된 경우 전이 학습은 특정 트리거가 포함된 입력에서 악성 분류를 유도할 수 있는 백도어 공격에 취약하다.
• 메타학습에서 메타데이터 주입을 통한 데이터 오염은 실현 가능하며, 이는 성능 저하 또는 손상된 모델의 선택을 유도할 수 있다.
• 지속적 학습 시스템은 치명적인 기억 상실 공격에 취약하며, 정교하게 설계된 데이터는 이전 작업의 성능을 저하시키지만 새로운 작업의 정확도에는 영향을 주지 않을 수 있다.
• 지속적 학습에서 지식 오버라이팅을 방지하지 못할 경우 백도어는 작업 간에 전파될 수 있으며, 이는 광범위한 모델 손상으로 이어질 수 있다.
• 모델 역행렬 및 멤버십 인식과 같은 탐색 공격은 특히 쿼리 기반 액세스가 가능한 연합 학습과 같은 프라이버시 민감한 환경에서 여전히 위협으로 남아 있다.
• 현재의 방어 메커니즘은 방법론별 위협에 대해 충분하지 않으며, 각 학습 파라디그마에 맞는 새로운 맞춤형 접근 방식이 필요하다.