[논문 리뷰] Design of intentional backdoors in sequential models

Zhaoyuan Yang, Naresh Iyer외 2명|arXiv (Cornell University)|2019. 02. 26.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 19

한 줄 요약

이 논문은 장기 기억 순환 신경망(LSTM) 기반 강화학습 에이전트에서 장기적인 의사결정 행동을 변화시키는 트리거를 내장함으로써 새로운 유형의 백도어 공격을 제안한다. 공격은 짧은 트리거 노출 후에도 은닉 상태와 셀 상태를 조작하여 정책 행동을 영구적으로 이동시킨다. 트리거 제거 후에도 지속적인 오분류가 발생함을 보여준다.

ABSTRACT

Recent work has demonstrated robust mechanisms by which attacks can be orchestrated on machine learning models. In contrast to adversarial examples, backdoor or trojan attacks embed surgically modified samples with targeted labels in the model training process to cause the targeted model to learn to misclassify chosen samples in the presence of specific triggers, while keeping the model performance stable across other nominal samples. However, current published research on trojan attacks mainly focuses on classification problems, which ignores sequential dependency between inputs. In this paper, we propose methods to discreetly introduce and exploit novel backdoor attacks within a sequential decision-making agent, such as a reinforcement learning agent, by training multiple benign and malicious policies within a single long short-term memory (LSTM) network. We demonstrate the effectiveness as well as the damaging impact of such attacks through initial outcomes generated from our approach, employed on grid-world environments. We also provide evidence as well as intuition on how the trojan trigger and malicious policy is activated. Challenges with network size and unintentional triggers are identified and analogies with adversarial examples are also discussed. In the end, we propose potential approaches to defend against or serve as early detection for such attacks. Results of our work can also be extended to many applications of LSTM and recurrent networks.

연구 동기 및 목표

• LSTM의 장기 의존성을 악용하는 새로운 백도어 공격 유형을 식별하고, 이를 시퀀셜 모델에서 입증한다.
• 일반 입력에서 성능에 영향을 주지 않으면서도 짧고 정밀하게 배치된 트리거로 에이전트의 정책을 영구적으로 변경할 수 있음을 보여준다.
• 의도하지 않은 트리거 활성화의 메커니즘과 순차적 맥락에서의 적대적 예제와의 유사성을 분석한다.
• 내부 LSTM 상태와 파라미터 분포를 대상으로 한 탐지 및 방어 기법을 제안한다.

제안 방법

• 다중 작업 학습을 통해 양호한 정책과 악성 정책을 동시에 학습하는 단일 LSTM 네트워크를 훈련한다.
• 입력 시퀀스의 단일 프레임에 트리거를 내장하여 은닉 상태와 셀 상태를 수정함으로써 악성 정책을 활성화한다.
• 격자 세계 환경을 사용하여 순차적 의사결정을 시뮬레이션하고 트리거가 장기적 행동에 미치는 영향을 평가한다.
• 내부 LSTM 상태(은닉 상태 및 셀 상태)를 모니터링하여 백도어 활성화를 나타내는 이질적 변화를 탐지한다.
• LSTM 유닛 간의 파라미터 분포를 분석하여 백도어 존재와 관련된 편차를 식별한다.
• 이상한 내부 상태를 탐지하고 초기화하는 면역 체계와 유사한 온라인 모니터링 시스템을 제안한다.

실험 결과

연구 질문

• RQ1 짧은 트리거 노출으로 LSTM 기반 강화학습 에이전트의 장기적 의사결정 행동을 어떻게 영구적으로 변경할 수 있는가?
• RQ2 LSTM 아키텍처 내에서 짧은 트리거가 어떻게 지속적인 행동 변화를 유도하는가?
• RQ3 일반적인 관측 시퀀스로 구성된 의도하지 않은 트리거가 의도적인 백도어와 유사한 오분류를 유도하는 이유는 무엇인가?
• RQ4 내부 상태 역학과 파라미터 분포 측면에서 백도어가 삽입된 LSTM의 특징은 무엇인가?
• RQ5 실시간으로 효과적으로 탐지하거나 중립화할 수 있는 방어 전략은 무엇인가?

주요 결과

• 단일 프레임에 포함된 트리거가 입력 시퀀스에서 더 이상 존재하지 않더라도 LSTM 기반 에이전트의 정책을 영구적으로 변경할 수 있다.
• 악성 정책은 장기적인 목표를 저장하는 셀 상태를 조작함으로써 활성화되어 행동에 지속적인 이동을 유도한다.
• 의도하지 않은 트리거(일상적인 관측 시퀀스)도 갑작스럽고 해로운 장기적 목표 변화를 유도할 수 있으며, 순차적 모델에서의 적대적 예제와 유사하다.
• 백도어가 삽입된 에이전트는 특히 셀 상태에서 이상한 내부 상태 패턴을 보이며, 이를 탐지하기 위해 모니터링할 수 있다.
• 파라미터 분포 분석 결과, 백도어가 삽입된 모델는 정보 저장을 위해 더 많은 LSTM 셀 유닛을 사용하는 것으로 나타나, 탐지에 활용할 수 있는 잠재적 지문이 될 수 있다.
• LSTM 내부 상태의 온라인 모니터링은 이상 행동을 탐지하고 초기화하는 실시간 방어 수단으로 기능할 수 있으며, 면역 체계와 유사하다.