[논문 리뷰] Fraternal Twins: Unifying Attacks on Machine Learning and Digital Watermarking

Erwin Quiring, Daniel J. Arp외 1명|arXiv (Cornell University)|2017. 03. 16.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 5

한 줄 요약

이 논문은 기계 학습과 디지털 워터마킹의 개념적 유사성을 드러내어 블랙박스 공격을 위한 통합 프레임워크를 제안한다: 둘 다 결정 경계를 넘기 위해 최소한의 왜곡을 적용한다. 디지털 워터마킹에서의 방어 기법(예: 상태 기반 탐지)이 기계 학습에서의 모델 추출 공격을 완화할 수 있음을 보여주며, 기계 학습에서의 강화 기법(예: 분류기 다양성)이 워터마킹에서 오라클 공격에 대응할 수 있음을 보여, 두 분야 간 보안 메커니즘의 이식 가능성을 확립한다.

ABSTRACT

Machine learning is increasingly used in security-critical applications, such as autonomous driving, face recognition and malware detection. Most learning methods, however, have not been designed with security in mind and thus are vulnerable to different types of attacks. This problem has motivated the research field of adversarial machine learning that is concerned with attacking and defending learning methods. Concurrently, a different line of research has tackled a very similar problem: In digital watermarking information are embedded in a signal in the presence of an adversary. As a consequence, this research field has also extensively studied techniques for attacking and defending watermarking methods. The two research communities have worked in parallel so far, unnoticeably developing similar attack and defense strategies. This paper is a first effort to bring these communities together. To this end, we present a unified notation of black-box attacks against machine learning and watermarking that reveals the similarity of both settings. To demonstrate the efficacy of this unified view, we apply concepts from watermarking to machine learning and vice versa. We show that countermeasures from watermarking can mitigate recent model-extraction attacks and, similarly, that techniques for hardening machine learning can fend off oracle attacks against watermarks. Our work provides a conceptual link between two research fields and thereby opens novel directions for improving the security of both, machine learning and digital watermarking.

연구 동기 및 목표

• 기계 학습의 블랙박스 공격과 디지털 워터마킹 간 개념적 유사성을 식별하고 체계화한다.
• 서로 다른 연구 공동체가 독립적으로 유사한 공격 및 방어 전략을 개발한 격차를 메운다.
• 특히 기계 학습과 디지털 워터마킹 간에 방어 기법을 이식할 수 있도록 한다.
• 실증 사례 연구를 통해 분야 간 방어 전이의 실용적 효과를 입증한다.
• 워터마킹 경연 대비 설계된 악성 기계 학습 경쟁을 포함한 새로운 연구 방향을 제안한다.

제안 방법

• 영역 특화 세부 정보에서 벗어나 결정 경계를 최소 입력 왜곡을 통해 넘는 데 중점을 두어 블랙박스 공격를 위한 통합 표기법을 도입한다.
• 기계 학습의 회피 공격과 워터마킹 파괴를 모두 동일한 구조적 특성을 지닌 악성 왜곡 문제로 모델링한다.
• 디지털 워터마킹에서 유래한 상태 기반 탐지 기법을 의사결정 트리에서의 모델 추출 공격을 방어하는 데 적용한다.
• 기계 학습에서 유래한 분류기 다양성 기법을 워터마킹 시스템을 오라클 공격으로부터 강화하는 데 적응한다.
• 기본 데이터셋(예: Wine Quality, Orange Juice)을 대상으로 실증 평가를 수행하여 다양한 쿼리 접근 조건 하에서의 공격 성공률을 측정한다.
• 제어된 커버 쿼리 비율을 가진 트리 추출 알고리즘을 사용하여 모델 추출 공격를 시뮬레이션하고 방어의 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 기계 학습과 디지털 워터마킹의 블랙박스 공격가 공통된 기초적 구조를 얼마나 공유하고 있는가?
• RQ2 디지털 워터마킹에서 개발된 방어 기법이 기계 학습에서의 모델 추출 공격을 효과적으로 완화할 수 있는가?
• RQ3 기계 학습에서의 악성 공격 기법(예: 분류기 다양성)이 오라클 공격에 대응하기 위해 워터마킹 시스템을 강화하는 데 적용될 수 있는가?
• RQ4 이 통합적 시각이 두 분야에서 새로운 공동 방어 기법 설계에 어떤 영향을 미치는가?
• RQ5 워터마킹 경연 대비 설계된 공개 경쟁은 기계 학습에서의 실제 악성 공격에 대한 강건성을 어떻게 향상시킬 수 있는가?

주요 결과

• 디지털 워터마킹에서 유래한 상태 기반 방어 기법은 의사결정 트리에서의 모델 추출 공격 성공률을 크게 감소시키며, 쿼리 수가 40배 증가할 경우 최대 100%의 보호율을 달성한다.
• 기계 학습에서의 분류기 다양성 기법은 워터마킹 시스템의 오라클 공격에 대응하여 공격 성공률을 감소시키며, Wine Quality 데이터셋에서 쿼리 부하가 5배일 경우 공격 성공률이 0.98에서 0.46으로 감소한다.
• 통합된 공격 모델은 두 분야 모두 결정 경계를 넘기 위해 최소한의 왜곡을 사용한다는 점에서 공통된 알고리즘 원리를 드러낸다.
• 적응형 재학습 및 선형 탐지 기법(예: PCA 기반)은 이식 가능하며, 두 분야 모두에서 강건성을 향상시킬 수 있다.
• 이 연구는 상태 기반 탐지 전략이 기계 학습 분야에서 아직 충분히 탐색되지 않았음을 밝혀내며, 새로운 방어 기회를 제시한다.
• 저자들은 성공한 워터마킹 경연(예: BOWS)을 모델로 삼은 악성 기계 학습 공개 경쟁을 통해 실제 세계의 취약점을 드러내고 분야를 발전시킬 것을 주장한다.