[논문 리뷰] A Survey of Neural Trojan Attacks and Defenses in Deep Learning

Jie Wang, Ghulam Mubashar Hassan외 1명|arXiv (Cornell University)|2022. 02. 15.

Adversarial Robustness in Machine Learning인용 수 14

한 줄 요약

이 종합 검토는 딥러닝 분야의 신경 토르나도 공격 및 방어 기법에 대해 포괄적이고 최신의 정보를 제공하며, 백도어 삽입 및 탐지 기법을 체계적으로 분류한다. 트리거 없는 및 동적 백도어와 같은 새로운 위협을 강조하고, 모델 복잡성과 제3자 참여로 인한 탐지 어려움을 밝혀낸다.

ABSTRACT

Artificial Intelligence (AI) relies heavily on deep learning - a technology that is becoming increasingly popular in real-life applications of AI, even in the safety-critical and high-risk domains. However, it is recently discovered that deep learning can be manipulated by embedding Trojans inside it. Unfortunately, pragmatic solutions to circumvent the computational requirements of deep learning, e.g. outsourcing model training or data annotation to third parties, further add to model susceptibility to the Trojan attacks. Due to the key importance of the topic in deep learning, recent literature has seen many contributions in this direction. We conduct a comprehensive review of the techniques that devise Trojan attacks for deep learning and explore their defenses. Our informative survey systematically organizes the recent literature and discusses the key concepts of the methods while assuming minimal knowledge of the domain on the readers part. It provides a comprehensible gateway to the broader community to understand the recent developments in Neural Trojans.

연구 동기 및 목표

• 딥러닝 분야에서 최근의 신경 토르나도 공격 및 방어 기법에 대해 체계적이고 최신의 검토를 제공하는 것.
• 학습 및 구현 과정에서 제3자 참여로 인한 딥러닝 모델의 핵심 취약점을 규명하고 분석하는 것.
• 트리거 없는 및 동적 백도어와 같은 고도화된 공격에 비추어 기존 탐지 방법의 한계를 검토하는 것.
• 시각 외 영역(예: 음성, NLP)에서 아직 미비하게 다뤄진 연구 방향을 부각하는 것.
• 도메인 지식이 적은 연구자들이 신경 토르나도 연구의 현재 상태를 이해할 수 있도록 안내하는 것.

제안 방법

• 최상위 수준의 머신러닝 및 컴퓨터비전 학술 컨fer런스(예: CVPR, ICCV, NeurIPS, ICLR)에 발표된 최근 논문들을 대상으로 체계적인 문헌 검토를 수행한다.
• 공격 벡터(예: 데이터 풀링, 모델 조작, 사전 학습 모델 손상) 기반으로 토르나도 공격 기법을 분류하고, 방어 수단을 체계화한다.
• 특히 시각 모델에서의 가시성, 내구성 및 성공률 측면에서 트리거의 효과성을 분석한다.
• 모델에 대한 액세스가 제한된 블랙박스 환경에서의 탐지 과제를 평가하며, 쿼리 기반 탐색을 통해 취약점 노출 가능성을 분석한다.
• 아키텍처 수준 및 데이터 수준의 방어 전략을 논의하며, 활성화 클러스터링, 기울기 기반 분석, 입력 정제 기법을 포함한다.
• 트리거 설계의 중요성과 효과적인 트로이 목마를 삽입하기 위해 최소한의 데이터 풀링이 필요하다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 모델 학습 과정에서 제3자 참여 및 외주화가 신경 토르나도 공격에 대한 취약성을 어떻게 증가시키는가?
• RQ2 딥러닝 모델에서 효과적이고 탐지되지 않는 토르나도 트리거의 핵심 특성은 무엇인가?
• RQ3 트리거 없는 및 동적 백도어와 같은 현대 공격이 기존 방어 기법에 특히 도전적인 이유는 무엇인가?
• RQ4 시각 기반 모델과 비교해 음성 및 NLP 분야의 토르나도 공격는 어떤 차이를 보이는가?
• RQ5 고도화된 신경 토르나도 위협에 대응하기 위한 향후 가장 유망한 연구 방향은 무엇인가?

주요 결과

• 신경 토르나도 공격는 트리거 없는 및 동적 백도어 기법의 확산으로 인해 점점 더 효과적이고 은밀해지고 있으며, 전통적인 탐지 기법을 회피한다.
• 데이터 수집, 학습 또는 모델 배포 과정에서 제3자 참여는 사용자의 지식 없이도 백도어 삽입 위험을 크게 증가시킨다.
• 대부분의 기존 방어 수단은 현대 트리거의 미세하고 적응형 특성으로 인해 고도화된 공격에 실패한다. 특히 트리거가 랜덤화되거나 존재하지 않을 경우 더욱 그렇다.
• 현재 대부분의 연구는 시각 모델에 집중되어 있어, 음성, NLP 및 그래프 기반 모델에서의 토르나도에 대한 이해와 방어에 큰 격차가 존재한다.
• 공격 효율성 향상과 탐지 저항력 강화를 위해 최소한의 데이터 풀링 및 적응형 트리거 설계에 대한 추가 연구가 절실한 상황이다.
• 이 검토는 학술 분야에서의 관심 증가 추세를 확인하였으며, 최고의 AI 및 머신러닝 컨퍼런스에서의 논문 발표 증가를 통해 이 분야의 중요성이 증가하고 있음을 시사한다.