[논문 리뷰] Say What I Want: Towards the Dark Side of Neural Dialogue Models

Haochen Liu, Tyler Derr외 2명|arXiv (Cornell University)|2019. 09. 13.

Topic Modeling참고 문헌 41인용 수 18

한 줄 요약

이 논문은 블랙박스 신경 대화 모델이 특정 타겟 응답을 생성하도록 유도하기 위해 악성 텍스트 입력을 생성하는 강화학습 기반의 역대화 생성기(Reverse Dialogue Generator)를 제안한다. 이 방법은 생성된 응답과 타겟 응답 간 유사도를 높여 최대 41.5% 향상시키며, 신경 대화비서의 심각한 보안 취약성을 드러낸다.

ABSTRACT

Neural dialogue models have been widely adopted in various chatbot applications because of their good performance in simulating and generalizing human conversations. However, there exists a dark side of these models -- due to the vulnerability of neural networks, a neural dialogue model can be manipulated by users to say what they want, which brings in concerns about the security of practical chatbot services. In this work, we investigate whether we can craft inputs that lead a well-trained black-box neural dialogue model to generate targeted outputs. We formulate this as a reinforcement learning (RL) problem and train a Reverse Dialogue Generator which efficiently finds such inputs for targeted outputs. Experiments conducted on a representative neural dialogue model show that our proposed model is able to discover such desired inputs in a considerable portion of cases. Overall, our work reveals this weakness of neural dialogue models and may prompt further researches of developing corresponding solutions to avoid it.

연구 동기 및 목표

• 블랙박스 신경 대화 모델이 특정 타겟 응답을 생성하도록 조작할 수 있는지 조사하기 위해.
• 기울기 접근이 없는 이산적이고 블랙박스 모델을 위한 효과적인 텍스트 입력을 설계하는 데 도전하기 위해.
• 사전 훈련된 대화 시스템으로부터 원하는 출력을 유도하기 위한 확장성 있고 상호작용 효율성이 높은 방법을 개발하기 위해.
• 실제 응용에서 신경 대화 모델의 보안 위험을 폭 드러내기 위해.

제안 방법

• 역대화 생성기는 블랙박스 대화 모델로부터 타겟 응답을 유도하기 위해 입력 질의를 생성하는 강화학습 에이전트로 훈련된다.
• 생성된 출력과 타겟 응답 간 유사도를 최대화하기 위해 정책 기반 강화학습(정책 기반 강화학습)을 사용하는 Seq2Seq 아키텍처를 사용한다.
• 대화 모델은 환경 역할을 하며, 생성된 응답과 타겟 응답 간 임베딩 유사도를 기반으로 피드백(보상)을 제공한다.
• 입력 품질 향상과 응답 일치도 향상을 위해 다양한 비드 크기(50, 200)를 사용하는 비드 서치를 적용한다.
• 보상 신호는 모델의 출력과 원하는 타겟 간의 임베딩 유사도(예: 코사인 유사도)를 사용해 계산된다.
• 모델은 브루트 포스나 기울기 기반 방법에 대한 의존도를 최소화하기 위해 상호작용을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 블랙박스 신경 대화 모델이 특정 타겟 응답을 유도하기 위해 신뢰성 있게 텍스트 입력을 조작할 수 있는가?
• RQ2 기울기 접근이 없는 상황에서 강화학습 기반 접근이 이러한 입력을 생성하는 데 얼마나 효과적인가?
• RQ3 생성된 입력이 타겟 응답과 얼마나 높은 의미적 유사도를 달성할 수 있는가?
• RQ4 조작된 입력는 자연스럽고 유창한가, 아니면 문법적으로 어색하고 악성 스타일을 띄는가?

주요 결과

• 역대화 생성기는 응답 유사도를 크게 향상시켜, 길이 1~3인 타겟 응답에 대해 임베딩 유사도 평균 41.5% 향상 효과를 기록했다.
• 비드 크기가 200인 비드 서치를 사용할 경우, 길이 4~6과 7~10인 응답에 대해 각각 34.0%와 28.3%의 유사도 향상 효과를 보였다.
• 모델은 자연스럽고 문법적으로 올바른 입력을 성공적으로 생성하여 여러 테스트 케이스에서 정확하거나 거의 정확한 타겟 응답을 유도했다.
• 사례 연구에서 5개의 타겟 응답 중 5개가 0.94 이상의 유사도 점수로 일치했으며, 정확한 일치(유사도 1.0)도 포함되었다.
• 모든 응답 길이 범주에서 기준선 방법(예: 탐욕적 복원)보다 성능이 뛰어나며, 비드 크기가 200인 비드 서치에서 최고 성능을 기록했다.
• 결과적으로 신경 대화 모델이 블랙박스 환경에서도 잘 조작된 입력을 통해 조작 가능함을 입증했다.