[논문 리뷰] An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction

Stefan Larson, Anish Mahendran외 9명|arXiv (Cornell University)|2019. 09. 04.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 150개의 범위 내 의도와 1,200개의 범위 외 의도를 포함하는 총 23,700개의 쿼리로 구성된 새로운 평가 데이터셋을 소개한다. 이는 작업 지향 대화 시스템에서 의도 분류 및 범위 외 탐지 능력을 평가하기 위해 설계되었다. 비록 범위 내 성능은 뛰어나 (BERT는 96% 정확도를 기록함), 모든 모델이 범위 외 탐지에서 어려움을 겪고 있으며, 최고의 시스템이라도 Recall이 66%에 불과하여 현재 NLP 벤치마크에서의 심각한 격차를 드러낸다.

ABSTRACT

Task-oriented dialog systems need to know when a query falls outside their range of supported intents, but current text classification corpora only define label sets that cover every example. We introduce a new dataset that includes queries that are out-of-scope---i.e., queries that do not fall into any of the system's supported intents. This poses a new challenge because models cannot assume that every query at inference time belongs to a system-supported intent class. Our dataset also covers 150 intent classes over 10 domains, capturing the breadth that a production task-oriented agent must handle. We evaluate a range of benchmark classifiers on our dataset along with several different out-of-scope identification schemes. We find that while the classifiers perform well on in-scope intent classification, they struggle to identify out-of-scope queries. Our dataset and evaluation fill an important gap in the field, offering a way of more rigorously and realistically benchmarking text classification in task-driven dialog systems.

연구 동기 및 목표

• 작업 지향 대화 시스템에서 범위 외 쿼리 탐지에 대한 현실적인 평가 부족 문제를 해결하기 위해.
• 실제 사용자 행동을 반영하는 다양한, 대규모의 데이터셋을 구축하여, 범위 내 및 범위 외 쿼리가 포함된 데이터셋을 제공하기 위해.
• 기존 분류기 및 범위 외 탐지 방법을, 모호하고 주제에서 벗어난 쿼리가 포함된 현실적인 벤치마크에서 평가하기 위해.
• 현재 모델, 특히 BERT와 같은 최첨단 모델들조차도 범위 내 정확도는 매우 높지만, 범위 외 탐지에서는 떨어지는 성능을 보임을 입증하기 위해.
• 대화 시스템의 강인성 평가를 더 철저하고 현실적으로 수행할 수 있도록 표준화된, 공개 가능한 데이터셋을 제공하기 위해.

제안 방법

• 10개 도메인의 150개 의도 클래스에서 22,500개의 범위 내 쿼리를 수집하기 위해, 범위 설정, 재구성, 시나리오 기반 작업을 활용한 커스터마이징된 인력 채용 방식을 사용하였다.
• 시스템의 지원 기능을 초월하는 실제 사용자 입력을 반영하기 위해 추가로 1,200개의 범위 외 쿼리를 수집하였다.
• 가상 비서와의 실제 사용자 상호작용과 유사한 스타일의 짧고 비정형적이며 자연어 형태의 쿼리가 포함되어 있다.
• 다양한 벤치마크 분류기(예: FastText, SVM, CNN, MLP, BERT)를 활용하여, 범위 내 의도 분류 및 범위 외 탐지 능력을 평가하였다.
• 이진 분류(범위 내 대비 범위 외) 방식으로 범위 외 탐지 성능을 평가하였으며, 데이터 증강 및 클래스 균형 조정에 대한 분석도 수행하였다.
• 연구의 재현 가능성을 높이고 향후 벤치마크를 지원하기 위해 데이터셋을 https://github.com/clinc/oos-eval 에 공개하였다.

실험 결과

연구 질문

• RQ1 본 연구에서 새롭게 제안한 데이터셋을 기반으로 훈련된 최첨단 분류기의 성능은 범위 내 의도 분류에서 어떻게 나타나는가?
• RQ2 기존 모델은 범위 내 쿼리와 스타일 및 주제에서 유사한 범위 외 쿼리를 얼마나 잘 탐지할 수 있는가?
• RQ3 범위 외 데이터를 훈련 데이터로 제공할 경우, 모델의 범위 외 탐지 성능는 어떻게 변화하는가?
• RQ4 다양한 모델 아키텍처와 데이터 증강 전략에 따라 범위 외 탐지 성능는 어떻게 달라지는가?
• RQ5 기존의 벤치마크 데이터셋은 실제 대화 시스템에서의 범위 외 처리 능력을 충분히 평가하는 데에 적합한가?

주요 결과

• BERT는 낮은 데이터 및 클래스 불균형 설정에서도 여전히 96% 이상의 최고 수준의 범위 내 의도 분류 정확도를 기록하였다.
• 모든 모델이 범위 외 탐지에서 심각한 성능 저하를 보였으며, 최고의 성능을 보인 시스템이라도 범위 외 클래스에 대해 Recall이 66%에 그쳤다.
• 범위 외 훈련 예제의 수를 늘릴수록 성능 향상이 있었지만, 그 성과는 제한적이었으며, 이는 모델이 분포 외 일반화에 대해 내재된 어려움이 있음을 시사한다.
• 위키백과 문장으로 데이터 증강을 시도한 결과 일부 모델에선 범위 외 탐지 성능 향상이 있었지만, 계산 자원 제약으로 인해 다른 모델에선 적용이 불가능했다.
• 이 데이터셋은 현재의 벤치마크가 현실 세계의 범위 외 쿼리 도전 과제를 충분히 반영하지 못하고 있음을 드러냈다. 이는 일반적이며 대화 시스템의 강인성에 매우 중요한 문제이다.
• 본 연구는 현재 NLP 평가에서의 심각한 격차를 입증한다: 모델들은 알려진 클래스에서는 뛰어난 성능을 보이지만, 의미적·스타일적으로 범위 내 쿼리와 유사한 새로운, 범위 외 입력에서는 실패한다.