[논문 리뷰] Automatic Discovery of Novel Intents & Domains from Text Utterances

Nikhita Vedula, Rahul Gupta외 2명|arXiv (Cornell University)|2020. 05. 22.

Topic Modeling참고 문헌 45인용 수 12

한 줄 요약

ADVIN은 비정형 텍스트에서 새로운 의도와 도메인을 자동으로 탐지하기 위해 세 단계로 구성된 새로운 프레임워크이다. 먼저 개방형 분류를 통해 새로운 의도를 가진 발화를 식별하고, 지식 전이 기반의 쌍별 마진 손실 함수를 활용해 깊이 있는 특징을 학습하여 의도 간의 분산을 극대화하고, 의도 내 분산을 최소화한다. 이후 대조적 학습 기반으로 비지도 방식으로 잠재적 의도 클러스터를 탐지하고, 계층적 클러스터링을 통해 유사한 의도를 통합하여 새로운 도메인을 구성한다. 이 프레임워크는 최소한의 지도 학습을 통해 벤치마크 및 실세계 데이터에서 기존의 최고 성능을 뛰어넘으며, 상태의 기술을 달성한다.

ABSTRACT

One of the primary tasks in Natural Language Understanding (NLU) is to recognize the intents as well as domains of users' spoken and written language utterances. Most existing research formulates this as a supervised classification problem with a closed-world assumption, i.e. the domains or intents to be identified are pre-defined or known beforehand. Real-world applications however increasingly encounter dynamic, rapidly evolving environments with newly emerging intents and domains, about which no information is known during model training. We propose a novel framework, ADVIN, to automatically discover novel domains and intents from large volumes of unlabeled data. We first employ an open classification model to identify all utterances potentially consisting of a novel intent. Next, we build a knowledge transfer component with a pairwise margin loss function. It learns discriminative deep features to group together utterances and discover multiple latent intent categories within them in an unsupervised manner. We finally hierarchically link mutually related intents into domains, forming an intent-domain taxonomy. ADVIN significantly outperforms baselines on three benchmark datasets, and real user utterances from a commercial voice-powered agent.

연구 동기 및 목표

• NLU 시스템에서 닫힌 세계의 의도 및 도메인 탐지의 한계를 해결하기 위해 사전에 정의된 레이블이 필요로 하며, 새로운 사용자 요청에 적응하지 못하는 문제를 해결한다.
• 새로운 카테고리에 대한 사전 지식 없이 대규모 비정형 대화 데이터에서 새로운 의도와 도메인을 자동으로 탐지할 수 있도록 한다.
• 다양한 도메인에 일반화되며, 훈련 데이터 분포에 의존하지 않는 일반적이고 확장 가능한 프레임워크를 개발한다.
• 쌍별 제약 조건을 통한 제한된 인간 지도 학습을 통합하여 클러스터링 품질을 향상시킨다.

제안 방법

• ADVIN은 BERT 기반의 개방형 분류를 사용하여 새로운 의도를 포함할 가능성이 있는 발화를 식별하고, 기존 카테고리와 구분한다.
• 의도 간의 분산을 극대화하고 의도 내 분산을 최소화하기 위해 쌍별 마진 손실 함수를 활용한 지식 전이 구성 요소를 적용한다.
• 발화 쌍에 대해 대조적 학습을 적용하여 비지도 방식으로 잠재적 의도 클러스터를 탐지한다.
• 계층적 클러스터링을 통해 의미적으로 유사한 새로운 의도를 통합하여 일관된 도메인으로 묶으며, 새로운 의도-도메인 분류 체계를 구성한다.
• 클러스터링 과정에서 반드시 연결(Must-link) 및 연결 불가능(Cannot-link) 제약 조건을 통합하여 제한된 인간 입력으로도 정확도를 향상시킨다.
• 전체 파ip라인은 엔드 투 엔드로 훈련 가능하며, 도메인에 종속되지 않고 실세계의 동적인 NLU 응용에 적합하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 사전에 새로운 의도에 대한 지식 없이도, 프레임워크가 새로운 의도를 포함하는 발화를 자동으로 탐지할 수 있는가?
• RQ2 대조적 학습 기반 방법이 지도 없이 비정형 데이터에서 잠재적 의도 클러스터를 얼마나 효과적으로 탐지할 수 있는가?
• RQ3 계층적 클러스터링이 탐지된 의도를 의미적으로 일관되고 유의미한 도메인으로 묶는 데 얼마나 효과적인가?
• RQ4 쌍별 제약 조건을 통한 제한된 인간 지도 학습이 탐지된 의도와 도메인의 품질을 얼마나 향상시키는가?
• RQ5 프레임워크는 다양한 도메인으로 일반화되며, 벤치마크 및 실세계 데이터에서 기존의 최고 성능 방법을 뛰어넘을 수 있는가?

주요 결과

• ADVIN은 SNIPS Set 1에서 정규화 상호정보량(NMI) 점수 0.82를 기록했고, ATIS Set 1에서는 0.74를 기록하여 비지도 기반 기준선을 크게 앞서갔다.
• 내부 데이터셋에서 ADVIN은 45개의 새로운 의도 카테고리를 탐지했으며(완전 지도 학습 대비 56개), 순도(purity)는 0.75, F1 점수는 0.65를 기록했다.
• 3개 그룹의 4개 쌍의 반드시 연결 및 연결 불가능 제약 조건을 통한 제한된 지도 학습을 추가했을 때, 모든 데이터셋에서 F1 점수가 2~8% 향상되어 최소한의 인간 피드백이 효과적임을 입증했다.
• 2,500개의 FTOP 및 1,100개의 내부 발화 쌍에 대한 인간 평가 결과, 'ADVIN (pair+hier)'는 F1 점수에서 모든 기준선을 최소 5% 이상 뛰어넘었으며, 평가자 간 일致도가 높았다(Cohen’s κ = 0.78 및 0.9).
• ADVIN는 비즈니스 목표에 기반한 데이터셋 애너테이션보다 더 의미적으로 타당한 의도-도메인 분류 체계를 생성했다.
• 두 번째 내부 데이터셋에서 ADVIN은 82개의 새로운 의도 카테고리를 성공적으로 탐지하여 대규모 실세계 대화 데이터에 대한 확장성과 유연성을 입증했다.