[논문 리뷰] Joint Learning of Domain Classification and Out-of-Domain Detection with Dynamic Class Weighting for Satisficing False Acceptance Rates

Joo-Kyung Kim, Young‐Bum Kim|ArXiv.org|2018. 06. 29.

Topic Modeling참고 문헌 32인용 수 4

한 줄 요약

이 논문은 말하는 대화 시스템에서 도메인 분류와 도메인 외(OOD) 탐지에 대한 공동 학습 프레임워크를 제안하며, 목표로 하는 거짓 수용률(FAR)을 충족하면서 분류 정확도를 최대화하기 위해 동적 클래스 가중치를 사용한다. 이 방법은 양방향 LSTM(BiLSTM) 기반 모델을 두 작업에 공통된 표현을 공유하면서 공동으로 학습하며, 각 에포크마다 손실 가중치를 조정하여 FAR 제어를 우선시하여, 별도의 학습 또는 단일 지표 최적화에 비해 두 개의 Alexa 데이터셋에서 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

In domain classification for spoken dialog systems, correct detection of out-of-domain (OOD) utterances is crucial because it reduces confusion and unnecessary interaction costs between users and the systems. Previous work usually utilizes OOD detectors that are trained separately from in-domain (IND) classifiers, and confidence thresholding for OOD detection given target evaluation scores. In this paper, we introduce a neural joint learning model for domain classification and OOD detection, where dynamic class weighting is used during the model training to satisfice a given OOD false acceptance rate (FAR) while maximizing the domain classification accuracy. Evaluating on two domain classification tasks for the utterances from a large spoken dialogue system, we show that our approach significantly improves the domain classification performance with satisficing given target FARs.

연구 동기 및 목표

• 말하는 대화 시스템에서 도메인 외 거짓 수용률(FAR)을 낮추는 동시에 내도메인 분류 정확도를 최대화하는 문제를 해결하기 위해.
• 일반적으로 FAR를 만족 조건으로 삼지 못하는 도메인 분류기와 OOD 탐지기를 별도로 학습하는 데서 비롯되는 한계를 극복하기 위해.
• 도메인 분류와 OOD 탐지 간의 공통된 표현을 활용하여 성능을 향상시키는 공동 학습 모델을 개발하기 위해.
• FAR 제어와 정확도 최적화를 균형 있게 유지하기 위해 학습 중에 클래스 가중치를 동적으로 조정하여 고정되거나 사전 계산된 가중치 방식을 피하기 위해.
• 다양한 도메인과 OOD 문장 분포를 가진 실제 Alexa 데이터셋에서 방법을 평가하기 위해.

제안 방법

• 양방향 장기 단기 기억망(BiLSTM)을 사용하여 단어 및 문자 수준의 임베딩에서 문장의 문맥적 표현을 추출하는 공동 신경 모델을 학습한다.
• 모델은 두 개의 헤드를 공동 최적화한다: 내도메인(IND) 분류를 위한 다중 클래스 분류기와 OOD 탐지를 위한 이진 분류기이며, 둘 다 동일한 BiLSTM 표현을 공유한다.
• 학습 중에 동적 클래스 가중치를 적용하여 개발 세트에서 현재의 FAR에 따라 OOD 샘플의 손실 가중치를 조정함으로써, FAR가 목표 임계값 이하로 유지되도록 보장한다.
• 최적화 목표는 제약 조건 문제로 공식화되며, 정확도를 최대화하면서 FAR ≤ T를 만족시키는 것으로, 여기서 T는 목표 거짓 수용률이다.
• 비가역적인 제약 조건을 근사하기 위해 미분 가능한 대체 손실 함수를 사용하여 경사 하강법을 이용한 엔드 투 엔드 학습이 가능하도록 한다.
• OOD 손실의 상대적 중요도를 제어하는 계수 α를 사용하여 모델을 학습하며, 각 에포크마다 이를 조정하여 목표 FAR를 유지한다.

실험 결과

연구 질문

• RQ1 도메인 분류와 OOD 탐지의 공동 학습이 별도 학습에 비해 종합적인 분류 성능을 향상시킬 수 있는가?
• RQ2 동적 클래스 가중치는 목표 거짓 수용률(FAR)을 충족하면서도 내도메인 정확도를 최대화하는 데에 더 효과적인가?
• RQ3 동적 가중치를 사용하는 공동 모델의 성능은 단일 지표 최적화 또는 고정된 클래스 가중치를 사용하는 모델과 비교해 어떻게 되는가?
• RQ4 도메인 분류와 OOD 탐지 간의 공통 표현 학습이 모델의 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법은 높은 도메인 다양성을 가진 다양한 실제 말하는 대화 데이터셋에서 낮은 FAR를 지속적으로 유지할 수 있는가?

주요 결과

• 21개 도메인을 가진 Alexa 데이터셋에서 동적 클래스 가중치를 사용하는 공동 모델은 목표 FAR 6%에서 90.67%의 정확도를 달성하여 별도 학습 모델(85.69%)과 다른 공동 모델보다 뚜렷이 뛰어났다.
• 목표 FAR 5%에서 동적 가중치 모델은 90.26%의 정확도를 기록하여, 동적 가중치 없이 최고의 베이스라인(87.83%)보다 2.5% 향상된 성능을 보였다.
• 1,500개 스킬을 가진 Alexa 데이터셋에서는 동적 가중치 모델이 목표 FAR 2%에서 79.18%의 정확도를 달성하여 별도 학습 모델(77.50%)과 다른 공동 모델를 앞섰다.
• 동적 클래스 가중치를 사용하는 모델은 모든 평가된 임계값(6%, 5.5%, 5% 및 2%, 1.5%, 1%)에서 목표 FAR를 일관되게 유지하면서 정확도를 최대화했다.
• BiLSTM를 사용한 문장 인코딩이 두 데이터셋 모두에서 단어 벡터 합산 및 CNN 기반 방법보다 뛰어났으며, 특히 동적 가중치 조건에서 두각을 나타냈다.
• OOD 탐지와 함께 공동 학습(α > 0)을 수행한 모델는 OOD 감독 없이 학습된 모델보다 정확도가 향상되어, 공통 표현 학습의 이점을 입증했다.