[논문 리뷰] TrojanNet: Embedding Hidden Trojan Horse Models in Neural Networks.

Chuan Guo, Ruihan Wu외 1명|arXiv (Cornell University)|2020. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 20

한 줄 요약

TrojanNet는 유해한 악성 트로이 목표망을 정상 신경망에 내장시키는 프레임워크를 제안하며, 계산적으로 불가능성과 효과적인 위장 기법을 통해 이를 탐지할 수 없도록 한다. 이 방법은 원본 모델의 성능을 떨어뜨리지 않고도 임의의 트로이 기능을 구현할 수 있어 신경망 신뢰성에 심각한 보안 취약점을 드러낸다.

ABSTRACT

The complexity of large-scale neural networks can lead to poor understanding of their internal details. We show that this opaqueness provides an opportunity for adversaries to embed unintended functionalities into the network in the form of Trojan horses. Our novel framework hides the existence of a Trojan network with arbitrary desired functionality within a benign transport network. We prove theoretically that the Trojan network's detection is computationally infeasible and demonstrate empirically that the transport network does not compromise its disguise. Our paper exposes an important, previously unknown loophole that could potentially undermine the security and trustworthiness of machine learning.

연구 동기 및 목표

• 정상 작동 중에 탐지되지 않는 조건에서 대규모 신경망에 악성 대비 백도어를 내장할 수 있는지 조사하는 것.
• 배포된 AI 시스템에서 잠재적 보안 침해를 초래할 수 있는 모델의 투명성 부족 문제에 대응하는 것.
• 원래 성능을 유지하면서 악성 기능을 정상 모델 내에 숨기는 프레임워크를 설계하는 것.
• 실제 조건 하에서 이러한 트로이 목표망의 탐지가 계산적으로 불가능하다는 것을 입증하는 것.
• 기계학습 시스템에 존재하는 이전에 알려지지 않은 심각한 보안 구멍을 드러내는 것.

제안 방법

• 프레임워크는 사전 학습된 정상 신경망에 임의의 기능을 가진 트로이 네트워크를 숨겨진 모듈로 통합한다.
• 아키텍처의 혼동 기법을 활용하여 트로이가 추론 및 학습 중에 탐지되지 않도록 보장한다.
• 트로이는 특정하고 드문 입력 패턴에서만 작동하므로 정상 작동 중 의심을 줄인다.
• 이 방법은 트로이 내장 후에도 정상 네트워크의 정확도가 그대로 유지되어 기능적 위장 상태를 유지한다.
• 이론적 분석을 통해 표준 가정 하에서 숨겨진 트로이의 탐지가 계산적으로 불가능하다는 것을 증명한다.
• 실증적 평가를 통해 표준 모델 점검 및 대비 테스트 조건에서도 트로이가 탐지되지 않음을 확인한다.

실험 결과

연구 질문

• RQ1 정상 작동 중에 명백한 행동 변화 없이 신경망에 악성 트로이를 내장할 수 있는가?
• RQ2 표준 모델 분석 기법을 사용해 이러한 숨겨진 트로이를 탐지하는 것은 계산적으로 불가능한가?
• RQ3 성능 저하 없이 트로이의 기능을 정상 모델 내에서 얼마나 효과적으로 위장할 수 있는가?
• RQ4 기능적 백도어를 내장하면서도 원래 모델의 정확도를 어떻게 유지하는가?
• RQ5 모델의 투명성 부족은 배포된 기계학습 시스템의 보안성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 표준 모델 점검 기법으로는 계산적 불가능성으로 인해 트로이 네트워크의 존재를 탐지할 수 없다.
• 정상적인 운반 네트워크는 트로이 내장 후에도 원래의 정확도와 성능을 유지하여 기능적 위장 상태를 유지한다.
• 트로이는 특정하고 드문 입력 패턴에서만 작동하므로 정상 사용 중 탐지 가능성은 낮다.
• 실증 결과를 통해 트로이가 대비 테스트 및 모델 분석 조건에서도 여전히 탐지되지 않음을 확인한다.
• 프레임워크는 모델의 투명성 덕분에 이전에 알려지지 않은 신경망 보안 취약점을 노출시킨다.
• 이 연구는 현재의 방어 조치가 대규모 모델 내에 숨겨진 이런 정교한 백도어에 대해 충분하지 않음을 드러낸다.