[논문 리뷰] Deep Open Intent Classification with Adaptive Decision Boundary

Hanlei Zhang, Hua Xu외 1명|arXiv (Cornell University)|2020. 12. 18.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 9

한 줄 요약

이 논문은 딥 오픈 인텐트 분류를 위한 후처리 방법인 적응형 결정 경계(Adaptive Decision Boundary, ADB)를 제안한다. ADB는 모델 아키텍처를 수정하거나 오픈 인텐트 샘플이 필요 없이, 클래스별로 조밀하고 특화된 구형 결정 경계를 학습한다. 새로운 손실 함수를 통해 경험적 리스크와 오픈 스페이스 리스크를 균형 잡음으로써, 기존 인텐트 정확도와 오픈 인텐트 탐지 성능을 모두 향상시키며, 세 가지 벤치마크 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, 특히 저자료 환경에서 두각을 나타낸다.

ABSTRACT

Open intent classification is a challenging task in dialogue systems. On the one hand, it should ensure the quality of known intent identification. On the other hand, it needs to detect the open (unknown) intent without prior knowledge. Current models are limited in finding the appropriate decision boundary to balance the performances of both known intents and the open intent. In this paper, we propose a post-processing method to learn the adaptive decision boundary (ADB) for open intent classification. We first utilize the labeled known intent samples to pre-train the model. Then, we automatically learn the adaptive spherical decision boundary for each known class with the aid of well-trained features. Specifically, we propose a new loss function to balance both the empirical risk and the open space risk. Our method does not need open intent samples and is free from modifying the model architecture. Moreover, our approach is surprisingly insensitive with less labeled data and fewer known intents. Extensive experiments on three benchmark datasets show that our method yields significant improvements compared with the state-of-the-art methods. The codes are released at https://github.com/thuiar/Adaptive-Decision-Boundary.

연구 동기 및 목표

• 대화 시스템에서 사전 지식 없이도 알려지지 않은 인텐트를 탐지해야 하는 오픈 인텐트 분류의 과제를 해결하기 위해.
• 기존 방법들이 임계값 또는 경계 설정을 위해 부정 샘플이나 오픈 인텐트 샘플이 필요로 하는 한계를 극복하기 위해.
• 기존 인텐트 클래스에 대해 적응형 결정 경계를 학습하는 후처리 방법을 개발하여 오픈 인텐트 탐지 성능을 향상시키기 위해.
• 제한된 레이블링 데이터 조건에서도 기존 인텐트 분류 성능을 유지하면서 알려지지 않은 인텐트를 효과적으로 식별하기 위해.
• 모델 아키텍처 수정과 수동 하이퍼파라미터 튜닝 없이도 결정 경계를 설정하기 위해.

제안 방법

• 표준 소프트맥스 손실을 사용하여 레이블된 기존 인텐트 샘플에 대해 BERT 기반 모델을 사전 학습한다.
• 클래스별 중심점(centroids)을 정의하고, 표준 정규분포에 대한 학습 가능한 활성화 함수를 사용하여 결정 경계 반경을 초기화한다.
• 경험적 리스크(기존 인텐트 분류)와 오픈 스페이스 리스크(알 수 없는 인텐트 탐지)를 균형 잡는 경계 손실 함수를 제안한다.
• 역전파를 통해 경계 반경을 최적화하여 각 기존 인텐트 클래스에 대해 조밀하고 적응형 구형 결정 경계를 학습한다.
• 추론 시에 학습된 결정 경계를 사용하여 입력을 기존 인텐트 또는 오픈 인텐트 클래스로 분류한다.
• 이 방법은 모델에 종속되지 않으며, 원래 신경망 아키텍처에 변화 없이 후처리 단계로 작동한다.

실험 결과

연구 질문

• RQ1 오픈 인텐트 샘플이 필요 없이 후처리 방법이 적응형 결정 경계를 학습하여 오픈 인텐트 분류 성능을 향상시킬 수 있는가?
• RQ2 경험적 리스크와 오픈 스페이스 리스크를 균형 잡는 것이 기존 인텐트 및 오픈 인텐트 분류 성능에 어떤 영향을 미치는가?
• RQ3 적은 수의 기존 인텐트로도 제안된 방법이 저자료 환경에서 얼마나 일반화 가능한가?
• RQ4 부정 샘플이나 모델 수정이 필요한 최신 기술보다 성능을 뛰어나게 할 수 있는가?
• RQ5 기존 클래스 수와 학습 데이터 크기의 변동에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 ADB 방법은 오픈 인텐트 분류를 위한 세 가지 벤치마크 데이터셋에서 최신 기술보다 뚜렷한 성능 향상을 이룬다.
• 세 데이터셋 전부에서 ADB는 기존 인텐트 정확도와 오픈 인텐트 탐지 F1 점수 모두에서 베이스라인보다 뛰어난 성능을 보였다.
• 적은 수의 레이블링 샘플과 적은 수의 기존 인텐트 조건에서도 강력한 성능 유지를 보이며, 높은 데이터 효율성을 입증했다.
• ADB가 학습한 적응형 결정 경계는 고정된 임계값이나 통계적 기반 임계값보다 오픈 인텐트와 기존 인텐트를 더 효과적으로 구분한다.
• 제안된 손실 함수를 통해 최적의 경계를 자동으로 학습하므로, 하이퍼파라미터 설정에 민감하지 않으며 강인하다.
• 광범위한 아블레이션 연구를 통해 경계 손실이 경험적 리스크와 오픈 스페이스 리스크를 효과적으로 균형 잡아 일반화 성능 향상에 기여함을 확인했다.