[논문 리뷰] Explainable Black-Box Attacks Against Model-based Authentication

Washington García, Joseph I. Choi외 3명|arXiv (Cornell University)|2018. 09. 28.

User Authentication and Security Systems참고 문헌 35인용 수 10

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI) 기법인 LIME와 같은 기법을 사용하여 피해자의 모델에 대한 사전 지식 없이도 의사결정 경계를 역공학적으로 분석함으로써, 모델 기반 인증 시스템에 대해 쿼리 효율적인 블랙박스 공격을 제안한다. 공격은 얼굴 인증 시스템에서 130회 이내, 호스트 인증 시스템에서 100회 이내의 쿼리로 성공적인 위장 공격를 수행한다. 이는 오로지 이진 인증 응답(성공/실패)만을 이용해 모델의 행동을 추론함으로써 달성된다.

ABSTRACT

Establishing unique identities for both humans and end systems has been an active research problem in the security community, giving rise to innovative machine learning-based authentication techniques. Although such techniques offer an automated method to establish identity, they have not been vetted against sophisticated attacks that target their core machine learning technique. This paper demonstrates that mimicking the unique signatures generated by host fingerprinting and biometric authentication systems is possible. We expose the ineffectiveness of underlying machine learning classification models by constructing a blind attack based around the query synthesis framework and utilizing Explainable-AI (XAI) techniques. We launch an attack in under 130 queries on a state-of-the-art face authentication system, and under 100 queries on a host authentication system. We examine how these attacks can be defended against and explore their limitations. XAI provides an effective means for adversaries to infer decision boundaries and provides a new way forward in constructing attacks against systems using machine learning models for authentication.

연구 동기 및 목표

• 모델 기반 인증 시스템이 피해자의 특징이나 모델의 신뢰도 점수를 알지 못한 채 공격에 취약하다는 것을 입증하는 것.
• 설명 가능한 인공지능(XAI) 기법인 LIME 등이 악성 행위자에 의해 의사결정 경계를 추론하는 데 재사용될 수 있는지 조사하는 것.
• 제한된 쿼리 수와 오로지 이진(성공/실패) 피드백만을 제공하는 인증 오라클 환경에서 작동하는 쿼리 효율적인 공격 프레임워크를 개발하는 것.
• 최신 생체인식 및 호스트 기반 인증 시스템에 대해 XAI 보조 편향 전략(예: 무작위 픽셀 편향 및 VAE 잠재공간 편향)의 효과를 평가하는 것.
• 실제 인증 환경에서 이러한 공격의 한계와 잠재적 방어 조치를 탐색하는 것.

제안 방법

• 공격은 오로지 이진 응답(성공 또는 실패)만을 사용하는 반복적 탐색을 통해 인증 오라클을 조사하는 쿼리 생성 프레임워크를 사용한다.
• LIME 기반 XAI 기법을 적용하여 편향된 입력에 대한 예측의 국소적이고 지역적으로 충실한 설명을 생성함으로써 모델의 행동을 해석한다.
• LIME 설명에서 제안하는 방향으로 입력 특징을 편향시켜 악성 예시를 생성하며, 분류 결과에 영향을 미치는 가장 영향력 있는 특징에 집중한다.
• 두 가지 편향 전략을 사용한다: 무작위 픽셀 편향과 변동형 오토인코더(VAE)를 이용한 잠재공간 조작으로, 모두 LIME 설명을 기반으로 하여 오분류 가능성 최대화를 도모한다.
• 공격은 오라클의 이진 출력과 XAI 기반 특징 중요도 분석 외에 피해자의 생체 또는 시스템 특징에 대한 사전 지식이 전혀 필요 없이 완전히 막힌 상태에서 작동하도록 설계되어 있다.
• 공격은 XAI 통찰을 기반으로 한 반복적이고 타겟된 쿼리로 의사결정 경계를 모델링함으로써, 얼굴 인식 및 호스트 지문 인식 등 다양한 인증 모odalities에 일반화된다.

실험 결과

연구 질문

• RQ1 LIME와 같은 XAI 기법이 오로지 이진 피드백만을 사용하여 블랙박스 인증 모델의 의사결정 경계를 효과적으로 재사용할 수 있는가?
• RQ2 최신 생체인식 및 호스트 기반 인증 시스템을 대상으로 할 때 공격의 쿼리 수 효율성은 어떠한가?
• RQ3 XAI 지도 편향 전략(예: 무작위 픽셀 또는 VAE 잠재공간)이 전통적인 이미지 왜곡 방법보다 인증 모델을 속이는 데 얼마나 더 효과적인가?
• RQ4 모델의 신뢰도 점수나 클래스 수준 출력이 노출되지 않을 경우 이러한 공격의 본질적 한계는 무엇인가?
• RQ5 공격이 피해자의 특징에 대한 사전 지식이 전혀 없이도 성공할 수 있는가? 이는 실제 환경에서의 진정한 막힘 공격 및 실용성을 의미하는가?

주요 결과

• 공격은 최신 얼굴 인증 시스템에서 130회 이내의 쿼리로 사용자를 성공적으로 위장 공격하여 높은 효율성과 낮은 쿼리 오버헤드를 입증한다.
• 호스트 기반 인증 시스템에서는 100회 이내의 쿼리로 성공을 달성하여 다양한 인증 모달리티에 걸쳐 효과적임을 확인한다.
• LIME와 같은 XAI 기법을 통해 오랜지의 신뢰도 점수나 클래스 확률에 접근하지 못하더라도 모델의 의사결정 경계를 높은 정밀도로 추론할 수 있다.
• VAE 잠재공간 편향 전략이 무작위 픽셀 편향보다 더 현실적인 악성 예시를 생성하여 인증을 우회하는 데 더 효과적임을 입증하였다.
• 공격은 완전히 막힌 상태—즉, 피해자의 생체 또는 시스템 특징에 대한 지식이 전혀 필요 없이 작동하므로 실제 세계의 위협 모델에서 매우 실용적이다.
• 본 연구는 모델 기반 인증 시스템이 타겟 공격 외에도 쿼리 기반, XAI 보조 의사결정 경계 역공학적 공격에 취약하다는 점을 드러냈다.