[논문 리뷰] Intent Detection with WikiHow

Li Zhang, Qing Lyu외 1명|arXiv (Cornell University)|2020. 09. 12.

Topic Modeling참고 문헌 17인용 수 12

한 줄 요약

이 논문은 다국어 지침 웹사이트인 wikiHow를 사용하여 의도 검출을 위한 새로운 사전학습 접근법을 제안한다. 의도 검출을 스텝-목표 쌍에 대한 다중 선택 과제로 재정의함으로써, 사전학습된 RoBERTa 및 XLM-RoBERTa 모델을 이 데이터에 맞추어 미세조정하면 다양한 벤치마크에서 최신 기술 성능을 달성하며, 도메인 내 예시가 100개 미만일 경우에도 75% 이상의 정확도를 기록한다. 이는 언어 및 도메인 간 강력한 제로-샷 및 소수-샷 일반화 능력을 보여준다.

ABSTRACT

Modern task-oriented dialog systems need to reliably understand users' intents. Intent detection is most challenging when moving to new domains or new languages, since there is little annotated data. To address this challenge, we present a suite of pretrained intent detection models. Our models are able to predict a broad range of intended goals from many actions because they are trained on wikiHow, a comprehensive instructional website. Our models achieve state-of-the-art results on the Snips dataset, the Schema-Guided Dialogue dataset, and all 3 languages of the Facebook multilingual dialog datasets. Our models also demonstrate strong zero- and few-shot performance, reaching over 75% accuracy using only 100 training examples in all datasets.

연구 동기 및 목표

• 제한된 애너테이션 데이터를 가진 저자원 도메인 및 언어에서 의도 검출 문제를 해결하기 위해.
• wikiHow의 광범위하고 다양한 다국어 지침 콘텐츠를 활용할 수 있는 사전학습 태스크를 개발하기 위해.
• 대규모 개방형 데이터셋에서 사전학습을 통해 소수-샷 및 제로-샷 성능을 향상시키기 위해.
• 최소한의 도메인 내 미세조정으로 대화 시스템을 새로운 서비스 및 새로운 도메인에 신속하게 적응시킬 수 있도록 하기 위해.

제안 방법

• 저자들은 wikiHow 기사에서 단계 헤더(의도로 간주됨)와 기사 제목(목적어로 간주됨)을 추출하여 사전학습 데이터셋을 구성한다.
• 사전학습 과제를 4개 선택지가 있는 다중 선택 분류 과제로 설정하여, 주어진 단계(의도)에 대해 4개 후보 중 정답 목적어를 선택하도록 한다.
• 유사한 기사에서 최소한의 어휘적 중복을 가지는 음성 후보를 샘플링하여 의미 있는 난이도를 확보하고, 단순한 음성 후보를 방지한다.
• 표준 트랜스포머 기반 아키텍처에 분류 헤드를 추가하여 표준 의도 검출 벤치마크에서 모델을 미세조정한다.
• 다국어 평가를 위해 영어, 스페인어, 태국어에 대해 XLM-RoBERTa를 사용하고, Snips, Schema-Guided Dialogue, Facebook의 다국어 데이터셋에서 미세조정한다.
• 점차적으로 작아지는 도메인 내 데이터셋에서 학습하여 제로-샷 및 소수-샷 성능을 평가하며, wikiHow에서 사전학습한 모델과 도메인 내 데이터에서만 사전학습한 모델을 비교한다.

실험 결과

연구 질문

• RQ1 wikiHow와 같은 대규모이고 다양한 다국어 지침 코퍼스에서 사전학습하면 소수-샷 및 제로-샷 의도 검출 성능이 향상되는가?
• RQ2 저자원 환경에서 제안된 wikiHow 사전학습 태스크는 표준 도메인 내 미세조정보다 어떻게 비교되는가?
• RQ3 wikiHow에서 사전학습한 모델은 10만 개 이상의 가능한 의도를 가진 개방형 의도 검출에 일반화될 수 있는가?
• RQ4 현재 의도 검출 벤치마크의 주요 실패 원인은 무엇이며, 우리의 모델은 모호한 표현이나 고유명사에 의존하는 문장도 처리할 수 있는가?

주요 결과

• 제안된 모델은 Snips, Schema-Guided Dialogue, Facebook의 다국어 의도 검출 데이터셋에서 최신 기술 성능을 달성한다.
• 모든 데이터셋에서 도메인 내 학습 예시가 100개일 경우 75% 이상의 정확도를 기록하여 강력한 소수-샷 일반화 능력을 입증한다.
• 제로-샷 설정에서는 도메인 내 학습 데이터 없이도 Snips와 SGD에서 70% 이상의 정확도를 달성한다.
• 5,000개의 wikiHow 단계에 대해 100개 후보를 제시한 보류된 셋에서 정확한 목표를 첫 번째로 랭킹하는 데 평균 역수 순위(MRR)는 0.462이며, 정확도는 36%이다.
• 오류 분석 결과 대부분의 오분류 원인은 모호한 표현, 잘못된 레이블, 외부 지식이 필요한 고유명사에 기인한다.
• 연구 결과에 따르면 현재의 벤치마크인 Snips와 FB-en는 너무 쉬운 편이며, 향후 연구는 개방형, 저자원 의도 검출에 초점을 맞춰야 한다.