[논문 리뷰] Is AmI (Attacks Meet Interpretability) Robust to Adversarial Examples?

Nicholas Carlini|arXiv (Cornell University)|2019. 02. 06.

Adversarial Robustness in Machine Learning참고 문헌 3인용 수 18

한 줄 요약

이 논문은 해석 가능성 기반으로 중요한 뉴런을 식별하고, 원본 네트워크와 수정된 네트워크의 예측을 비교함으로써 악성 입력을 거부하는 AmI 방어 기법을 평가한다. 비록 강건성에 대해 주장하고 있지만, 저자들은 ℓ∞ 값이 0.01인 비타겟된 악성 예제에서 방어에 무관한 공격이 100% 성공적으로 탐지 회피를 이룰 수 있음을 입증하며, 탐지율을 0%로 낮추어 이 방어 기법이 실제로 효과가 없음을 입증한다.

ABSTRACT

No.

연구 동기 및 목표

• 해석 가능성 기반으로 얼굴 인식에서 악성 예제를 탐지하는 AmI 방어의 강건성 평가.
• 공격자가 방어 기법 존재를 모른다는 약한 위협 모델 하에서 방어 기법이 여전히 효과가 있는지 조사.
• 공격이 실패할 경우 방어 주장의 타당성을 도전하며, 철저한 평가의 필요성 강조.
• 원본 모델에 대한 단순한 고신뢰도 타겟 공격이 AmI에 의해 탐지되지 않을 수 있음을 입증.
• 공격 성능 평가의 엄격성과 소스 코드 공개를 촉구함으로써 방어 연구의 투명성 증진

제안 방법

• 저자들은 방어 기법을 완전히 忽略하고, 오직 원본 수정되지 않은 신경망만을 사용해 악성 예제를 생성한다.
• 무작위로 잘못된 타겟 레이블을 선택하고, 원본 모델에서 고신뢰도 타겟 공격 예제를 생성한다.
• 악성 예제는 원본 네트워크와 확장된 AmI 네트워크 양쪽에 테스트되며, 둘 다 동일한 방식으로 분류되면 탐지 회피로 간주된다.
• 성공적인 회피가 발견될 때까지 이 과정을 반복하며, 평균 25회 시도가 필요하다.
• 공격은 방어 기법의 구조나 행동에 적응하지 않기 때문에 방어에 무관한 공격이다.
• 이 방법은 원본 및 확장된 네트워크가 예측을 동일하게 내릴 경우 입력이 AmI에 의해 거부되지 않는다는 가정에 기반한다.

실험 결과

연구 질문

• RQ1 방어에 무관한 공격이 AmI 탐지 메커니즘을 성공적으로 회피할 수 있는가?
• RQ2 ℓ∞ 값이 0.01인 비타겟 악성 예제에 대해 AmI 방어는 강건한가?
• RQ3 AmI에서 공격이 악성 예제를 탐지하지 못하는 이유는 무엇이며, 이는 방어의 타당성에 어떤 함의를 갖는가?
• RQ4 AmI에서 해석 가능성 기법의 사용이 악성 입력에 대한 강건성 향상에 진정으로 기여하는가?
• RQ5 원본 방어 논문에서 명확한 위협 모델이 부재할 경우, 이는 적절한 보안 평가를 방해하는가?

주요 결과

• 비타겟 악성 예제에 대해 AmI 방어의 진정 양성률은 0%이며, 이러한 예제를 전혀 탐지하지 못함.
• 공격은 탐지 회피에 100% 성공률를 기록하며, 평균 25회의 시도가 필요하다.
• 공격자가 방어 기법 존재를 모른다는 약한 위협 모델 하에서도 방어 기법은 완전히 무력하다.
• 탐지율은 원본 방어되지 않은 모델의 9.9% 가짜 양성률보다 낮아 성능이 더 열 劣하다.
• 저자들은 방어 기법이 주장하는 강건성이 최소한의 가정 하에서도 실패하므로 실제로 유효하지 않음을 확인한다.
• 공격이 실패할 경우 명확한 이유 없이도 방어 평가에서 자기 기만의 위험이 있다는 점을 이 연구는 드러낸다.