[논문 리뷰] Out-of-domain Detection for Natural Language Understanding in Dialog Systems

Yinhe Zheng, Guanyi Chen외 1명|arXiv (Cornell University)|2019. 09. 09.

Topic Modeling참고 문헌 47인용 수 8

한 줄 요약

이 논문은 자동에코더, 적대적 훈련 및 보조 분류기의 조합을 통해 고품질이고 현실적인 OOD 발화를 생성함으로써 NLU에서의 도메인 외 검출 성능을 향상시키는 새로운 가짜 OOD 샘플 생성 모델(POG)을 제안한다. 이 방법은 수동으로 레이블링된 OOD 예제에 의존하지 않고도 합성 OOD 데이터로 모델을 효과적으로 정규화함으로써 도메인 외 검출 성능을 향상시키며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Natural Language Understanding (NLU) is a vital component of dialogue systems, and its ability to detect Out-of-Domain (OOD) inputs is critical in practical applications, since the acceptance of the OOD input that is unsupported by the current system may lead to catastrophic failure. However, most existing OOD detection methods rely heavily on manually labeled OOD samples and cannot take full advantage of unlabeled data. This limits the feasibility of these models in practical applications. In this paper, we propose a novel model to generate high-quality pseudo OOD samples that are akin to IN-Domain (IND) input utterances, and thereby improves the performance of OOD detection. To this end, an autoencoder is trained to map an input utterance into a latent code. and the codes of IND and OOD samples are trained to be indistinguishable by utilizing a generative adversarial network. To provide more supervision signals, an auxiliary classifier is introduced to regularize the generated OOD samples to have indistinguishable intent labels. Experiments show that these pseudo OOD samples generated by our model can be used to effectively improve OOD detection in NLU. Besides, we also demonstrate that the effectiveness of these pseudo OOD data can be further improved by efficiently utilizing unlabeled data.

연구 동기 및 목표

• NLU 시스템에서 제한된 수의 수동으로 레이블링된 도메인 외(OOD) 데이터로 인해 효과적인 OOD 검출이 어려운 문제를 해결하기 위해.
• 도메인 내(IND) 입력과 구분이 불가능할 정도로 고품질이고 현실적인 OOD 발화를 생성하여 OOD 검출 성능을 향상시키기 위해.
• 실제 시스템에서 흔히 확보 가능한 비라벨링 데이터를 활용하여 생성된 OOD 샘플의 품질과 효과를 더욱 향상시키기 위해.
• 합성 OOD 데이터를 사용하여 엔트로피 정규화를 최적화함으로써, 개방형 환경 가정 하에서 NLU 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 입력 발화를 잠재 코드로 매핑하고 재구성함으로써 의미적 및 구조적 특성을 유지하는 자동에코더를 훈련한다.
• 도메인 외(OOD) 및 도메인 내(IND) 샘플의 잠재 코드가 구분이 되지 않도록 생성 모델을 사용하여, 생성된 OOD 샘플이 실제 IND 입력과 유사하게 보이도록 한다.
• 생성된 OOD 샘플의 의도 레이블이 모호하거나 구분이 어려운 것을 정규화하기 위해 보조 분류기를 도입한다.
• 재구성 손실, 적대적 손실 및 엔트로피 정규화(ER)를 조합하여 종합적으로 최적화하는 방식으로, 모델을 엔드 투 엔드로 훈련한다.
• 자기에코더 사전 훈련 단계에서 비라벨링 데이터를 통합함으로써 샘플 품질을 더욱 향상시키는 AEPOG(Autoencoder-based Pseudo OOD Generation)로 방법을 확장한다.
• 생성된 가짜 OOD 샘플을 사용하여 엔트로피 정규화를 적용한 NLU 모델을 훈련함으로써, 진짜 OOD 입력을 탐지하는 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 이산 텍스트 공간에서 도메인 내 입력과 의미적으로 유사하지만 의도가 모호한 고품질의 현실적인 OOD 발화를 생성할 수 있는가?
• RQ2 실제 OOD 데이터로 훈련된 모델과 비교했을 때, 생성된 가짜 OOD 샘플이 OOD 검출 성능 향상에 얼마나 효과적인가?
• RQ3 실제 운영 환경에서 확보 가능한 비라벨링 데이터를 효과적으로 활용하여 생성된 OOD 샘플의 품질과 검출 성능을 향상시킬 수 있는가?
• RQ4 도메인 내 및 도메인 외 분포 간의 잠재 코드에 대한 적대적 훈련이 OOD 검출을 위한 특징 공간에서의 분리도를 향상시키는가?
• RQ5 생성 샘플의 의도 레이블에 대한 보조 감독이 OOD 검출의 강건성을 향상시키는가?

주요 결과

• 제안된 POG 모델은 문법적으로 올바르고 도메인 내 발화와 의미적으로 유사한 가짜 OOD 샘플을 생성하여 훈련에 효과적으로 활용할 수 있다.
• 생성된 가짜 OOD 샘플의 사용은 OOD 검출 성능을 크게 향상시키며, OSQ와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 자기에코더 사전 훈련 단계에서 비라벨링 데이터를 통합한 AEPOG 버전은 생성 샘플의 품질을 더욱 향상시키고 검출 성능을 높인다.
• t-SNE 시각화 결과는 POG로 생성된 샘플을 사용해 훈련된 모델이 도메인 내 및 도메인 외 입력 간의 특징 표현을 더 잘 분리함을 확인한다.
• 보조 분류기는 생성 샘플의 의도 모호성을 효과적으로 정규화하여, 이들이 쉽게 도메인 내로 분류되지 않도록 한다.
• 비용이 많이 드는 수동으로 레이블링된 OOD 데이터 의존도를 줄이면서도, 실제 OOD 데이터로 훈련된 모델의 성능을 유지하거나 초월한다.