[논문 리뷰] TABOR: A Highly Accurate Approach to Inspecting and Restoring Trojan Backdoors in AI Systems

Wenbo Guo, Lun Wang외 3명|arXiv (Cornell University)|2019. 08. 02.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 134

한 줄 요약

TABOR는 트로잔 백도어 점검을 비선형 최적화로 재구성하고 새로운 정규화와 충실도 중심의 트리거 복원 지표를 도입함으로써, 다양한 트리거 조건에서 Neural Cleanse 대비 탐지 및 복원을 향상시킨다.

ABSTRACT

A trojan backdoor is a hidden pattern typically implanted in a deep neural network. It could be activated and thus forces that infected model behaving abnormally only when an input data sample with a particular trigger present is fed to that model. As such, given a deep neural network model and clean input samples, it is very challenging to inspect and determine the existence of a trojan backdoor. Recently, researchers design and develop several pioneering solutions to address this acute problem. They demonstrate the proposed techniques have a great potential in trojan detection. However, we show that none of these existing techniques completely address the problem. On the one hand, they mostly work under an unrealistic assumption (e.g. assuming availability of the contaminated training database). On the other hand, the proposed techniques cannot accurately detect the existence of trojan backdoors, nor restore high-fidelity trojan backdoor images, especially when the triggers pertaining to the trojan vary in size, shape and position. In this work, we propose TABOR, a new trojan detection technique. Conceptually, it formalizes a trojan detection task as a non-convex optimization problem, and the detection of a trojan backdoor as the task of resolving the optimization through an objective function. Different from the existing technique also modeling trojan detection as an optimization problem, TABOR designs a new objective function--under the guidance of explainable AI techniques as well as heuristics--that could guide optimization to identify a trojan backdoor in a more effective fashion. In addition, TABOR defines a new metric to measure the quality of a trojan backdoor identified. Using an anomaly detection method, we show the new metric could better facilitate TABOR to identify intentionally injected triggers in an infected model and filter out false alarms......

연구 동기 및 목표

• 학습 데이터나 모델 내부에 접근하지 않고도 강건한 트로잔 백도어 탐지를 촉진한다.
• 거짓 경보를 줄이기 위한 정규화를 갖춘 최적화 기반 탐지 프레임워크를 개발한다.
• 트로건 트리거를 정확히 복구하기 위한 트리거 복원 지표와 기법을 제안한다.
• 다양한 모델과 백도어 구성에 걸쳐 기존 방법과 비교하여 TABOR를 평가한다.
• 트로잔 삽입 기법의 변화와 모델 복잡성에 대한 TABOR의 강건성을 보인다.

제안 방법

• 마스크 M과 트리거 Delta 위의 비선형 최적화 문제로 트로잔 탐지를 형식화한다.
• 과도하게 큰 트리거, 흩어진 트리거를 벌주하고 차단, 오버레이, 무관한 특징을 억제하기 위한 네 가지 정규화 항을 도입한다.
• 적대적 서브스페이스를 줄이고 간결하며 연속적인 트리거를 촉진하도록 R1 및 R2 정규화를 설계한다.
• 트리거 제거 후 핵심 이미지 특징 차단을 피하고 올바른 분류를 유지하기 위해 R3 정규화를 추가한다.
• 특징 중요도 인사이트를 통해 트리거 충실도를 다듬기 위해 설명 가능한 AI에서 영감을 얻은 R4 정규화를 도입한다.
• 거짓 경보와 트리거 오버레이 관찰에 따라 맞춤형 접근 방식으로 최적화를 해결한다.

실험 결과

연구 질문

• RQ1 TABOR가 학습 데이터나 모델 내부에 접근하지 않고도 트로잔 백도어의 존재를 신뢰성 있게 탐지할 수 있는가?
• RQ2 다양한 트리거 형태, 크기, 위치에 걸쳐 TABOR가 높은 충실도의 트리건 트리거를 정확히 복원하는가?
• RQ3 다양한 트로잔 구성과 모델 복잡성에서 Neural Cleanse에 비해 TABOR의 성능은 어떤가?
• RQ4 정규화 유도 목적함수가 감염된 모델과 깨끗한 모델 모두에서 거짓 경보를 줄이고 트리거 충실도를 개선할 수 있는가?

주요 결과

• TABOR는 최신 기법인 Neural Cleanse와 비교하여 탐지 성능과 트리거 복원 충실도가 향상됨을 보인다.
• 정규화 항이 적대적 서브스페이스를 감소시키고 흩어지거나 과대해진 트리거로 인한 거짓 경보를 억제한다.
• 차단 트리거 정규화는 핵심 이미지 콘텐츠를 방해하는 트리거를 제거한다.
• 오버레이 트리거 정규화는 의도된 트로잔 트리거의 더 높은 충실도 표현을 추출하는 데 도움을 준다.
• 설명 가능한 AI에서 영감을 받은 정규화가 관련 없는 특징을 가지치기하여 복원된 트리거를 다듬는다.