[논문 리뷰] Composed Variational Natural Language Generation for Few-shot Intents

Congying Xia, Caiming Xiong외 2명|arXiv (Cornell University)|2020. 09. 21.

Topic Modeling참고 문헌 29인용 수 5

한 줄 요약

이 논문은 도메인과 동작의 조합으로 의도를 모델링함으로써 소수의 샘플만 있는 의도에 대해 합성 훈련 데이터를 생성하는 트랜스포머 기반의 조건부 변동형 오토인코더인 Composed Variational Natural Language Generation (CLANG)을 제안한다. 분리된 잠재 변수와 대비 학습 정규화를 사용함으로써 CLANG은 소수의 샘플이 있는 의도 검출 성능을 향상시키며, 두 개의 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we focus on generating training examples for few-shot intents in the realistic imbalanced scenario. To build connections between existing many-shot intents and few-shot intents, we consider an intent as a combination of a domain and an action, and propose a composed variational natural language generator (CLANG), a transformer-based conditional variational autoencoder. CLANG utilizes two latent variables to represent the utterances corresponding to two different independent parts (domain and action) in the intent, and the latent variables are composed together to generate natural examples. Additionally, to improve the generator learning, we adopt the contrastive regularization loss that contrasts the in-class with the out-of-class utterance generation given the intent. To evaluate the quality of the generated utterances, experiments are conducted on the generalized few-shot intent detection task. Empirical results show that our proposed model achieves state-of-the-art performances on two real-world intent detection datasets.

연구 동기 및 목표

• 불균형 데이터셋에서 소수의 샘플이 있는 의도 검출의 낮은 자원 문제를 해결하기 위해.
• 의도를 도메인과 행동의 조합으로 모델링하여 다수의 샘플이 있는 의도와 소수의 샘플이 있는 의도 사이의 격차를 메우기 위해.
• 분리된 잠재 표현을 사용하여 소수의 샘플이 있는 의도에 대해 고품질이고 다양한 훈련 예제를 생성하기 위해.
• 생성 중에 대비 정규화를 통해 일반화 성능을 향상시키기 위해.
• 광범위한 소수의 샘플이 있는 의도 검출 작업에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• CLANG는 도메인과 행동을 위한 두 개의 독립된 잠재 변수를 사용하는 이중 잠재 변동형 인코더를 갖춘 트랜스포머 기반의 조건부 변동형 오토인코더(CVAE)이다.
• 특화된 자체주의 마스크가 각 잠재 변수가 입력 발화의 해당 의미적 부분에 집중하도록 유도하여 도메인과 행동 표현의 분리 가능성을 높인다.
• 디코더를 통해 도메인과 행동의 샘플링된 잠재 코드를 조합하여 발화를 생성한다.
• 동일 클래스(긍정적) 발화의 가능성을 최대화하고 이질 클래스(부정적) 발화의 가능성을 최소화하기 위해 대비 정규화 손실을 도입하여 생성 품질을 향상시킨다.
• 소수의 샘플이 있는 의도에 대해 다양하고 관련성이 높은 발화를 생성하기 위해 추론 중에 조합된 변동형 추론을 수행한다.
• 기존의 다수의 샘플이 있는 의도 데이터를 기반으로 엔드 투 엔드로 훈련되어 소수의 샘플 일반화를 위한 이전 가능한 표현을 학습한다.

실험 결과

연구 질문

• RQ1 의도를 도메인과 행동의 조합으로 모델링하면 소수의 샘플이 있는 의도 생성과 검출에 도움이 될 수 있는가?
• RQ2 도메인과 행동에 대한 분리된 잠재 표현은 새로운 소수의 샘플이 있는 의도로의 일반화에 더 나은 성능을 보일 수 있는가?
• RQ3 대비 정규화는 소수의 샘플 설정에서 생성된 발화의 품질과 다양성에 기여하는가?
• RQ4 조합된 변동형 생성기는 광범위한 소수의 샘플이 있는 의도 검출에서 기존의 데이터 증강 방법보다 우수한 성능를 보일 수 있는가?
• RQ5 CLANG는 자원이 부족한 의도에 대해 현실적이고 다양한 훈련 예제를 얼마나 효과적으로 생성하는가?

주요 결과

• CLANG는 두 개의 실세계 의도 검출 데이터셋에서 광범위한 소수의 샘플이 있는 의도 검출(GFSID) 작업에서 최신 기술 수준 성능를 달성한다.
• 인간 평가에서 Alarm Query 의도에 대해 생성된 발화의 80.99%가 양호한 것으로 평가되었으며, 대부분의 경우는 추가/삭제, 새로운 시간대, 어순 재구성 등의 유효한 데이터 증강 변형이었다.
• 모델은 전체의 19.01%를 잘못된 의도 예측이나 잘못된 질문어 사용으로 인해 잘못된 케이스로 생성하여, 분리 가능성 향상 여지가 있음을 시사한다.
• 대비 정규화 손실은 이질 클래스 발화 생성 가능성을 줄임으로써 생성 품질을 크게 향상시킨다.
• 간단한 규칙 기반 증강이나 텍스트 생성에 제한된 능력을 가진 LSTMs를 사용하는 기존 방법보다 CLANG이 뛰어난 성능를 보였다.
• 제거 실험을 통해 분리된 잠재 구조와 대비 손실 모두 최적의 성능를 달성하기 위해 필수적임을 확인했다.