[논문 리뷰] Multi-Domain Adversarial Learning for Slot Filling in Spoken Language Understanding

Bing Liu, Ian Lane|arXiv (Cornell University)|2017. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 11인용 수 25

한 줄 요약

이 논문은 말하는 언어 이해(SLU)에서 슬롯 채우기의 공유된, 도메인에 관계없는 표현을 학습하기 위해 다중 도메인 적대적 학습을 제안한다. 도메인 일반 모델을 도메인 적대적 손실로 훈련시켜 도메인 정체성을 은폐함으로써, 이 방법은 교차 도메인 일반화를 향상시키며, 비적대적 모델보다 높은 F1 점수를 달성하고, 도메인 특화 모델과 함께 공동 최적화될 경우 더 나은 성능을 발휘한다.

ABSTRACT

The goal of this paper is to learn cross-domain representations for slot filling task in spoken language understanding (SLU). Most of the recently published SLU models are domain-specific ones that work on individual task domains. Annotating data for each individual task domain is both financially costly and non-scalable. In this work, we propose an adversarial training method in learning common features and representations that can be shared across multiple domains. Model that produces such shared representations can be combined with models trained on individual domain SLU data to reduce the amount of training samples required for developing a new domain. In our experiments using data sets from multiple domains, we show that adversarial training helps in learning better domain-general SLU models, leading to improved slot filling F1 scores. We further show that applying adversarial learning on domain-general model also helps in achieving higher slot filling performance when the model is jointly optimized with domain-specific models.

연구 동기 및 목표

• 말하는 언어 이해(SLU) 시스템을 위한 도메인 특화 데이터의 고비용 및 확장성 문제를 해결하기 위해.
• 대규모 내부 도메인 애너테이션에 의존도를 줄이기 위해, 여러 작업 도메인 간 공유된, 도메인 일반 표현을 학습하기 위해.
• 적대적 특징 학습을 사용하여 도메인 일반 모델과 도메인 특화 모델을 공동으로 최적화함으로써 슬롯 채우기 성능을 향상시키기 위해.
• 적대적 훈련을 통해 교차 도메인 지식을 활용하여 자원이 적은 도메인에서의 일반화를 향상시키기 위해.
• 적대적 훈련을 통해 도메인 일반 모델을 학습할 경우, 도메인 특화 모델과 조합했을 때 성능 향상이 이루어지는지 조사하기 위해.

제안 방법

• 유창한 문장에서 문맥적 단어 표현을 생성하기 위해 양방향 LSTM 인코더를 훈련하고, 슬롯 태깅을 위해 CRF 레이어를 적용한다.
• 입력 문장의 도메인을 양방향 LSTM의 은닉 상태 기반으로 분류하는 도메인 식별자(도메인 디스criminator)를 도입한다.
• 기울기 반전을 통해 도메인 식별자의 정확도를 최소화함으로써 도메인 적대적 훈련을 적용하여, 인코더가 도메인에 관계없는 특징을 학습하도록 유도한다.
• 슬롯 태깅 손실 + 적대적 도메인 분류 손실의 조합된 손실을 최적화하며, 하이퍼파ram터 λ가 균형을 조절한다.
• 동일한 인코더와 적대적 훈련 목표를 공유하면서 도메인 일반 모델과 도메인 특화 모델을 공동으로 훈련한다.
• 안정적인 훈련을 위해 기울기 클리핑, 드롭아웃(0.5), Adam 최적화 기법을 사용하고, 초기 학습률을 1e-3로 설정한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 다수의 SLU 도메인 간 슬롯 채우기의 도메인에 관계없는 표현을 효과적으로 학습하는 데에 기여하는가?
• RQ2 적대적 손실로 훈련된 도메인 일반 모델이 비적대적 도메인 일반 모델보다 슬롯 채우기 F1 점수에서 뛰어나게 성능을 발휘하는가?
• RQ3 도메인 일반 모델과 도메인 특화 모델을 공동 최적화할 경우, 개별 모델 대비 전체 슬롯 채우기 성능이 향상되는가?
• RQ4 적대적 손실의 규모(λ)가 도메인 일반 모델 및 공동 모델의 성능에 어떤 영향을 미치는가?
• RQ5 적대적 학습이 새로운 SLU 도메인 개발을 위한 데이터 요구량을 어느 정도 줄이는가?

주요 결과

• 적대적 훈련을 적용한 도메인 일반 모델(λ = 0.01)은 통합 테스트 세트에서 76.55의 F1 점수를 기록하여, 비적대적 도메인 일반 모델(76.03 F1)을 능가했다.
• MIT 영화(eng) 코퍼스에서 적대적 도메인 일반 모델은 F1 점수를 82.95에서 83.03으로 향상시켜, 다양한 도메인에서 일관된 성능 향상을 보였다.
• 적대적 훈련을 통한 공동 모델은 도메인 특화 모델에 비해 MIT 영화(eng) 코퍼스에서 1.90% 향상되었고, trivia10k13 코퍼스에서는 1.69% 향상되었다.
• 더 높은 적대적 손실 규모(λ = 1.0)를 사용할 경우 성능이 크게 악화되어 통합 세트에서 F1 점수가 66.66으로 떨어졌으며, 이는 과도한 정규화의 징후로 나타났다.
• 적대적 훈련을 통한 공동 모델은 네 개의 데이터 세트 중 세 개에서 가장 높은 F1 점수를 기록하여, 앙상블 환경에서의 적대적 학습의 유용성을 입증했다.
• 도메인 일반 모델의 오류는 종종 다른 도메인의 의미적으로 유사하지만 잘못된 레이블을 할당하는 데 기인해 있어, 도메인에 관계없는 표현 학습의 필요성을 강조한다.