[논문 리뷰] Chat as Expected: Learning to Manipulate Black-box Neural Dialogue Models

Haochen Liu, Zhiwei Wang외 2명|arXiv (Cornell University)|2020. 05. 27.

Topic Modeling참고 문헌 38인용 수 13

한 줄 요약

이 논문은 블랙박스 신경 대화 모델이 목표 응답을 생성하도록 유도하는 입력 문장을 자동으로 생성하기 위해 강화학습 기반 프레임워크인 TDGPN을 제안한다. 입력 조작을 순차적 의사결정 과정으로 간주함으로써, 모델 파라미터에 접근할 수 없음에도 불구하고 높은 성공률을 달성하여 최신 대화 시스템의 핵심 취약점을 드러낸다.

ABSTRACT

Recently, neural network based dialogue systems have become ubiquitous in our increasingly digitalized society. However, due to their inherent opaqueness, some recently raised concerns about using neural models are starting to be taken seriously. In fact, intentional or unintentional behaviors could lead to a dialogue system to generate inappropriate responses. Thus, in this paper, we investigate whether we can learn to craft input sentences that result in a black-box neural dialogue model being manipulated into having its outputs contain target words or match target sentences. We propose a reinforcement learning based model that can generate such desired inputs automatically. Extensive experiments on a popular well-trained state-of-the-art neural dialogue model show that our method can successfully seek out desired inputs that lead to the target outputs in a considerable portion of cases. Consequently, our work reveals the potential of neural dialogue models to be manipulated, which inspires and opens the door towards developing strategies to defend them.

연구 동기 및 목표

• 블랙박스 신경 대화 모델이 특정 목표 응답을 생성하도록 조작할 수 있는지 조사하기 위해.
• 기울기가 이용 불가능한 이산적이고 블랙박스 설정에서 효과적인 입력을 조작하는 데 도전하기 위해.
• 모델 아키텍처나 파라미터에 접근하지 않고도 작동하는 방법을 개발하여 현실적인 악성 테스트를 가능하게 하기 위해.
• 자연스럽고 부드러운 입력을 생성하여 원하는 응답을 유도하는 데 강화학습의 타당성과 효율성을 평가하기 위해.
• 최신 대화 시스템의 취약점을 드러내어 방어 전략을 촉진하기 위해.

제안 방법

• TDGPN은 강화학습을 사용하여 입력 문장 생성을 순차적 의사결정 과정으로 프레임워크화한다.
• 정책 네트워크는 기울기 역전파를 피하기 위해 REINFORCE 방식의 추정기를 사용하여 최적화된다. 이는 이산 시퀀스에 적합하다.
• 에이전트는 목표 응답과 모델의 출력이 얼마나 유사한지에 따라 보상 신호에 따라 토큰을 단계적으로 생성한다.
• 생성된 입력이 유창하고 자연스럽도록 사전에 훈련된 언어 모델에 의존한다.
• 이 프레임워크는 블랙박스 가정 하에 작동하며, 모델 파라미터나 아키텍처에 대한 접근이 필요하지 않다.
• 보상 형태 조정을 통해 목표 단어나 문장의 내용과 유사도가 높은 응답을 유도하도록 한다.

실험 결과

연구 질문

• RQ1 블랙박스 신경 대화 모델은 조작된 입력을 통해 특정 목표 응답을 생성하도록 조작될 수 있는가?
• RQ2 강화학습 기반 접근법은 자연스럽고 유창한 입력을 생성하여 원하는 응답을 유도하는 데 얼마나 효과적인가?
• RQ3 모델 파라미터에 접근할 수 없음에도 불구하고 이 방법이 목표 응답을 얼마나 잘 유도할 수 있는가?
• RQ4 생성된 입력은 목표 응답과 유창성과 유사도 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 다른 대화 시스템이나 NLP 생성 작업으로 일반화될 수 있는가?

주요 결과

• TDGPN은 목표 단어 작업에서 69%의 성공률을 기록하여 기준 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 목표 응답 작업에서는 길이 7~10 토큰의 응답에 대해 평균 유사도 점수 0.748을 기록했으며, 이는 랜덤 입력의 0.566보다 높은 수준이었다.
• 사례 연구에서 생성된 입력은 자연스럽고 유창했으며, 목표 응답과의 유사도 점수는 0.826에서 0.958의 범위를 보였다.
• 모델 내부 정보에 접근하지 못함에도 불구하고 상당수의 시도에서 특정 목표 단어나 어구를 포함한 응답을 성공적으로 유도했다.
• 생성된 입력은 부드럽고 의미적으로 의미 있는 것으로 나타나, 언어 모델이 유창성을 유지하는 데 효과적이었다.
• 결과는 최신 블랙박스 대화 모델이 RL 기반 조작을 통해 입력 수준에서 조작 가능하다는 것을 확인시켰다.