[논문 리뷰] Open Intent Discovery through Unsupervised Semantic Clustering and Dependency Parsing

Pengfei Liu, Youzhang Ning외 3명|arXiv (Cornell University)|2021. 04. 25.

Topic Modeling참고 문헌 52인용 수 7

한 줄 요약

이 논문은 사전 학습된 문장 임베딩과 의존성 파싱을 사용하여 비지도 학습 두 단계 프레임워크를 제안한다. 새로운 균형 점수 지표를 통해 의미 공간에서 발화를 군집화하여 최적의 군집 수를 결정하고, 빈도 높은 의존성 쌍을 통해 인간이 이해할 수 있는 ACTION-OBJECT 의도 레이블을 생성한다. SNIPS에서 의도 일치가 완벽한 93.5% F1 점수를 달성한다.

ABSTRACT

Intent understanding plays an important role in dialog systems, and is typically formulated as a supervised learning problem. However, it is challenging and time-consuming to design the intents for a new domain from scratch, which usually requires a lot of manual effort of domain experts. This paper presents an unsupervised two-stage approach to discover intents and generate meaningful intent labels automatically from a collection of unlabeled utterances in a domain. In the first stage, we aim to generate a set of semantically coherent clusters where the utterances within each cluster convey the same intent. We obtain the utterance representation from various pre-trained sentence embeddings and present a metric of balanced score to determine the optimal number of clusters in K-means clustering for balanced datasets. In the second stage, the objective is to generate an intent label automatically for each cluster. We extract the ACTION-OBJECT pair from each utterance using a dependency parser and take the most frequent pair within each cluster, e.g., book-restaurant, as the generated intent label. We empirically show that the proposed unsupervised approach can generate meaningful intent labels automatically and achieve high precision and recall in utterance clustering and intent discovery.

연구 동기 및 목표

• 목표 지향 대화 시스템의 새로운 도메인에서 의도 온톨로지 수작업 정의의 높은 비용과 확장성 문제를 해결하기 위해.
• 인간 레이블이 없는, 원시적이고 레이블이 없는 대화 데이터에서 의미적으로 일관된 의도를 자동으로 탐지하기 위해.
• 의존성 파싱을 활용하여 ACTION-OBJECT 쌍 형태로 의미 있고 인간이 이해할 수 있는 의도 레이블을 생성하기 위해.
• 균형 잡힌 데이터셋을 위한 새로운 균형 점수 지표를 사용하여 최적의 군집 수를 결정함으로써 군집 성능을 향상시키기 위해.
• 실제 대화 시스템과 소셜 미디어 분석에 적용 가능한 확장성 있고 자원이 적은 의도 탐지 가능성을 제공하기 위해.

제안 방법

• 모든 발화를 사전 학습된 문장 임베딩, 특히 유니버설 문장 인코더를 사용하여 공통 의미 공간으로 매핑한다.
• 균형 점수 지표를 통합한 수정된 K-means 군집 알고리즘을 적용하여, 불균형한 군집 분포를 방지하는 페널티를 부여함으로써 최적의 군집 수를 결정한다.
• 의존성 파서를 사용하여 각 발화에서 동사와 그 직접 목적어 간의 문법적 관계를 식별함으로써 ACTION-OBJECT 쌍을 추출한다.
• 각 군집의 가장 빈도 높은 ACTION-OBJECT 쌍을 선택하여 해당 군집의 의도 레이블을 생성한다.
• 다양한 평가 지표에서 최고의 성능를 보인 유니버설 문장 임베딩 표현을 의미 표현으로 사용한다.
• SNIPS 벤치마크 데이터셋에서 진짜 레이블을 사용하여 정밀도, 재현도, F1 점수, NMI, ARI를 평가함으로써 군집 성능을 평가한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 원시 대화 데이터에서 인간 레이블 없이도 비지도 프레임워크가 의미 있는 의도를 효과적으로 탐지할 수 있는가?
• RQ2 균형 점수 지표는 특히 균형 잡힌 데이터셋에서 군집 품질 향상과 최적의 K 추정에 얼마나 기여하는가?
• RQ3 의존성 파싱을 통해 얻은 ACTION-OBJECT 쌍은 탐지된 각 군집에 대해 이해하기 쉬우면서도 의미적으로 정확한 의도 레이블로 기능할 수 있는가?
• RQ4 사전 학습된 문장 임베딩의 선택이 의도 군집화 및 탐지 성능에 미치는 영향은 어느 정도인가?
• RQ5 제안된 프레임워크는 높은 정밀도와 재현도를 달성하면서도 인간이 읽을 수 있는 의도 레이블을 생성할 수 있는가?

주요 결과

• 제안된 프레임워크는 SNIPS 데이터셋에서 높은 F1 점수 93.5%를 달성하였으며, 모든 진짜 의도 레이블이 탐지된 군집과 완벽하게 일치하였다.
• 유니버설 문장 임베딩 모델은 F1(0.935), NMI(0.865), ARI(0.855)를 포함한 모든 지표에서 다른 사전 학습된 표현보다 뛰어난 성능을 보였다.
• 균형 점수 지표는 균형 잡힌 분포를 선호함으로써 군집 품질을 크게 향상시켰으며, 이 경우 기존의 실루엣 지표보다도 우수한 성능을 보였다.
• 각 의도 군집에 대해 가장 빈도 높은 ACTION-OBJECT 쌍(예: book-restaurant, play-music)이 인간의 이해와 일치하는 정확하고 해석 가능한 레이블로 기능하였다.
• 프레임워크는 SNIPS 데이터셋의 7개의 진짜 의도를 모두 탐지하였으며, 개별 F1 점수는 0.826에서 0.989 사이로 다양하게 변동하여 다양한 의도 유형에 걸쳐 뛰어난 성능을 보였다.
• 이 방법은 강력한 일반화 능력을 보였으며, 첫 번째 단계(군집화)는 ACTION-OBJECT 패턴이 명확하지 않은 데이터셋에서도 효과적으로 작동하여 복잡하거나 비공식적인 대화에서의 의도 탐지가 가능했다.