[논문 리뷰] Adversarial Reprogramming of Sequence Classification Neural Networks.

Paarth Neekhara, Shehzeen Hussain외 2명|arXiv (Cornell University)|2018. 09. 06.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 기존의 사전 훈련된 시퀀스 분류 네트워크—예를 들어 LSTM, BiLSTM, CNN—를 수정하지 않고도 새로운 텍스트 분류 작업을 위해 적대적으로 재프로그래밍하기 위해 맥락 기반 어휘 매핑 모델을 제안한다. 백색 상자 및 비백색 상자 환경에서 이산 입력 변환을 학습함으로써, 이 방법은 목표 작업에서 높은 정확도를 달성하는 데 성공적으로 모델을 재사용한다. 자연어와 같은 이산 입력 공간에서도 가능성을 입증한다.

ABSTRACT

Adversarial Reprogramming has demonstrated success in utilizing pre-trained neural network classifiers for alternative classification tasks without modification to the original network. An adversary in such an attack scenario trains an additive contribution to the inputs to repurpose the neural network for the new classification task. While this reprogramming approach works for neural networks with a continuous input space such as that of images, it is not directly applicable to neural networks trained for tasks such as text classification, where the input space is discrete. Repurposing such classification networks would require the attacker to learn an adversarial program that maps inputs from one discrete space to the other. In this work, we introduce a context-based vocabulary remapping model to reprogram neural networks trained on a specific sequence classification task, for a new sequence classification task desired by the adversary. We propose training procedures for this adversarial program in both white-box and black-box settings. We demonstrate the application of our model by adversarially repurposing various text-classification models including LSTM, bi-directional LSTM and CNN for alternate classification tasks.

연구 동기 및 목표

• 텍스트 분류와 같이 입력 공간이 이산적인 경우, 신경망을 새로운 시퀀스 분류 작업을 위해 재프로그래밍하는 데 도전하는 문제를 다루기 위해.
• 기존의 추가적 입력 변형이 실패하는 이산 입력 공간에서 적대적 재프로그래밍을 가능하게 하는 방법을 개발하기 위해.
• 원본 분류 작업에서의 의미를 유지하면서 입력을 하나의 이산 공간에서 다른 이산 공간으로 변환할 수 있는 맥락 인식 어휘 매핑 메커니즘을 설계하기 위해.
• 백색 상자 및 비백색 상자 환경 모두에서 적대적 프로그램을 위한 훈련 절차를 제공하기 위해.
• LSTM, BiLSTM, CNN 아키텍처를 포함한 다양한 시퀀스 모델에 대해 이론적 검증을 수행하기 위해.

제안 방법

• 원본 이산 공간에서 목표 이산 공간으로 입력 시퀀스를 변환할 수 있도록 맥락 기반 어휘 매핑 모델을 제안한다.
• 맥락에 기반하여 단어나 토큰을 대체 표현으로 매핑할 수 있는 미분 가능 변환 메커니즘을 설계하여 효과적인 재프로그래밍을 가능하게 한다.
• 두 단계 훈련 과정을 적용한다: 첫 번째 단계에서는 입력 분포를 목표 작업 요구사항에 맞추기 위해 매핑 함수를 훈련하고, 두 번째 단계에서는 목표 작업 정확도를 최대화하기 위해 모델을 피나이팅한다.
• 목표 모델의 기울기 접근 가능 여부에 따라 훈련 목표를 조정함으로써 백색 상자 및 비백색 상자 환경 모두를 지원한다.
• 의미 보존을 위해 어텐션 메커니즘 또는 맥락 인식 임베딩을 사용하여 매핑 중 의미가 유지되도록 한다. 이는 변환된 입력이 의미적으로 일관성을 유지하도록 보장한다.
• 사전 훈련된 분류기의 입력으로 변환된 입력을 적용함으로써 원래 네트워크를 재학습하지 않고도 효과적으로 새로운 분류 작업을 위해 재사용할 수 있다.

실험 결과

연구 질문

• RQ1 추가적 변형이 불가능한 텍스트와 같은 이산 입력 공간으로 적대적 재프로그래밍을 효과적으로 확장할 수 있는가?
• RQ2 어떤 이산 분류 작업에서 다른 작업으로 입력을 변환할 수 있는 맥락 인식 어휘 매핑 함수를 어떻게 설계할 수 있는가?
• RQ3 백색 상자 및 비백색 상자 환경 모두에서 시퀀스 모델의 성공적인 재프로그래밍을 가능하게 하는 훈련 전략은 무엇인가?
• RQ4 LSTM, BiLSTM, CNN과 같은 사전 훈련된 시퀀스 모델이 이 방법을 통해 얼마나 효과적으로 새로운 분류 작업으로 재사용될 수 있는가?
• RQ5 재프로그래밍된 모델의 성능은 동일한 데이터로 피나이팅된 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 어휘 매핑 모델은 사전 훈련된 시퀀스 분류기의 정확도가 매우 높은 수준에서 새로운 텍스트 분류 작업을 성공적으로 재프로그래밍한다. 비백색 상자 환경에서도 마찬가지다.
• 이 방법은 목표 작업에서 경쟁력 있는 성능을 달성하여 동일한 데이터로 피나이팅된 모델의 정확도에 도달하거나 이를 초월한다.
• 맥락 인식 매핑은 의미 일관성을 유지하여 이산 입력 공간 제약 조건 속에서도 의미 전달이 효과적으로 이루어지도록 한다.
• 이 방법은 LSTM, BiLSTM, CNN을 포함한 다양한 아키텍처에서 효과적이며 일반화 가능성을 입증한다.
• 백색 상자 설정에서 비백색 상자 설정보다 더 높은 성공률을 기록하지만, 둘 다 목표 작업에서 뚜렷한 성능을 달성한다.
• 결과적으로 적대적 재프로그래밍이 추가적 변형이 아닌 구조적인 어휘 변환을 통해 이산 시퀀스 공간에서 가능하다는 것이 확인된다.