[논문 리뷰] Improving Robustness of Task Oriented Dialog Systems

Arash Einolghozati, Sonal Gupta외 2명|arXiv (Cornell University)|2019. 11. 12.

Topic Modeling참고 문헌 35인용 수 16

한 줄 요약

이 논문은 역역번역과 노이즈 있는 오토인코더를 사용하여 적대적 테스트 세트를 생성하고, 역역번역과 적대적 로짓 페어링 손실을 통한 데이터 증강을 통해 작업 중심 대화 시스템의 강건성을 향상시키는 방법을 제안한다. 두 기법의 조합은 청소된 데이터에서의 높은 정확도를 유지하면서도 적대적 예측에서 성능을 크게 향상시킨다.

ABSTRACT

Task oriented language understanding in dialog systems is often modeled using intents (task of a query) and slots (parameters for that task). Intent detection and slot tagging are, in turn, modeled using sentence classification and word tagging techniques respectively. Similar to adversarial attack problems with computer vision models discussed in existing literature, these intent-slot tagging models are often over-sensitive to small variations in input -- predicting different and often incorrect labels when small changes are made to a query, thus reducing their accuracy and reliability. However, evaluating a model's robustness to these changes is harder for language since words are discrete and an automated change (e.g. adding `noise') to a query sometimes changes the meaning and thus labels of a query. In this paper, we first describe how to create an adversarial test set to measure the robustness of these models. Furthermore, we introduce and adapt adversarial training methods as well as data augmentation using back-translation to mitigate these issues. Our experiments show that both techniques improve the robustness of the system substantially and can be combined to yield the best results.

연구 동기 및 목표

• 작업 중심 대화 시스템에서의 통합 의도 검출 및 슬롯 태깅 모델이 소규모 입력 변형에 대해 얼마나 강건한지 분석하는 것.
• 역역번역과 시퀀스 오토인코더를 사용하여 다양하고 타겟되지 않은 적대적 테스트 세트를 생성하여 모델의 강건성 평가를 위한 것.
• 역역번역과 새로운 적대적 로짓 페어링 손실 함수를 사용한 데이터 증강을 통해 모델의 강건성을 향상시키는 것.
• 데이터 증강과 로짓 페어링의 조합이 NLP에서 적대적 예측에 대한 방어에 얼마나 효과적인지 평가하는 것.

제안 방법

• 두 가지 다른 언어를 사용한 역역번역과 노이즈 있는 오토인코더를 활용하여 다소 다른 어휘적·문장 구조적 특성을 가진 입력을 생성함으로써 적대적 테스트 세트를 생성한다.
• 훈련 중에 다수의 기계 번역 시스템과 보조 언어를 활용하여 역역번역 기반 데이터 증강을 적용함으로써 입력의 다양성을 높인다.
• 원본 입력과 역역번역된 입력 간의 로짓 차이를 최소화하여 동일한 예측을 유도함으로써 일관된 예측을 유도하는 적대적 로짓 페어링 손실을 도입한다.
• 백트랜스레이션된 다수의 어휘적 변형 문장을 자동으로 레이블링하기 위해 자기학습(self-training)을 사용하여 데이터 증강과 로짓 페어링에 활용한다.
• 청소된 데이터, 역역번역된 증강 데이터, 그리고 적대적 로짓 페어링 손실을 조합하여 훈련함으로써 모델의 강건성을 향상시킨다.
• 청소된 테스트 세트와 적대적 테스트 세트에서의 모델 성능을 평가하여 강건성 향상 정도를 측정한다.

실험 결과

연구 질문

• RQ1 역역번역과 오토인코더 기반 방법이 의도 및 슬롯 태깅을 위한 다양하고 타겟되지 않은 적대적 예측 생성에 얼마나 효과적인가?
• RQ2 역역번역 기반 데이터 증강은 청소된 테스트 데이터에서의 성능 저하 없이 모델의 강건성을 향상시킬 수 있는가?
• RQ3 적대적 로짓 페어링 손실이 시퀀스 태깅 및 통합 의도 검출의 맥락에서 모델의 강건성을 향상시키는가?
• RQ4 데이터 증강과 로짓 페어링을 조합한 경우, 각각의 기법을 별도로 사용할 때보다 적대적 정확도 측면에서 얼마나 더 우수한가?
• RQ5 다양한 기계 번역 시스템과 보조 언어가 적대적 예측 및 훈련 데이터의 품질과 다양성에 얼마나 영향을 미치는가?

주요 결과

• 역역번역 기반 데이터 증강과 적대적 로짓 페어링 손실을 조합하면 적대적 테스트 세트에서 가장 높은 성능을 기록하며, 강건성이 크게 향상된다.
• 역역번역과 오토인코더 방법을 모두 사용하여 생성한 적대적 테스트 세트는 각각의 방법으로 생성한 세트보다 성능이 뛰어나다.
• 역역번역 기반 데이터 증강은 적대적 예측에 직접 대응하지는 않지만, 모델의 일반화 능력과 강건성을 향상시킨다.
• 적대적 로짓 페어링 손실은 원본 입력과 변형된 입력 간의 예측 분산을 효과적으로 줄여 결정 경계를 매끄럽게 한다.
• 두 방어 기법의 조합은 청소된 테스트 세트에서의 높은 정확도를 유지하면서도 적대적 정확도를 크게 향상시킨다.
• 역역번역에서 다수의 보조 언어와 번역 시스템을 활용하면 적대적 예측 및 증강된 훈련 데이터의 다양성과 효과성이 향상된다.