[논문 리뷰] Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling

Zihan Liu, Genta Indra Winata외 2명|arXiv (Cornell University)|2020. 04. 24.

Topic Modeling참고 문헌 30인용 수 13

한 줄 요약

이 논문은 일련의 슬롯 유형에 걸쳐 전역적으로 슬롯 엔티티를 먼저 식별한 후, 슬롯 설명과의 유사도를 사용하여 그들의 구체적 유형을 예측하는 계층적-세분화 프레임워크인 Coach를 제안한다. 템플릿 정규화를 도입하여 표현의 강건성을 향상시켜, 새로운 슬롯 유형에 대한 높은 성능 향상과 강력한 도메인 간 전이 능력을 보이며, 제로샷 및 패기샷 설정에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

As an essential task in task-oriented dialog systems, slot filling requires extensive training data in a certain domain. However, such data are not always available. Hence, cross-domain slot filling has naturally arisen to cope with this data scarcity problem. In this paper, we propose a Coarse-to-fine approach (Coach) for cross-domain slot filling. Our model first learns the general pattern of slot entities by detecting whether the tokens are slot entities or not. It then predicts the specific types for the slot entities. In addition, we propose a template regularization approach to improve the adaptation robustness by regularizing the representation of utterances based on utterance templates. Experimental results show that our model significantly outperforms state-of-the-art approaches in slot filling. Furthermore, our model can also be applied to the cross-domain named entity recognition task, and it achieves better adaptation performance than other existing baselines. The code is available at https://github.com/zliucr/coach.

연구 동기 및 목표

• 저자원 타겟 도메인에서의 데이터 부족 문제를 해결하기 위해, 교차 도메인 슬롯 채우기에 있어 제로샷 및 패기샷 적응을 가능하게 한다.
• 기존 모델이 새로운 슬롯 유형을 다루기 어려우며, 애매한 토큰에 대해 다중 예측을 내는 데에 한계를 가진다는 점을 해결한다.
• 다양한 도메인에 걸쳐 일반적인 슬롯 엔티티 패턴을 학습함으로써 모델의 강건성과 일반화 능력을 향상시킨다.
• 프레임워크를 교차 도메인 명명된 엔티티 인식(NER)으로 확장하여 더 넓은 적용 가능성을 입증한다.

제안 방법

• 모델은 BiLSTM-CRF를 사용하여 거시 수준의 분류를 수행하여 각 토큰이 슬롯 엔티티인지 여부를 판단한다(3개 클래스: O, B, I).
• 세분화된 예측을 위해, 인코딩된 슬롯 엔티티 표현과 모든 가능한 슬롯 유형의 사전 인코딩된 설명 간의 유사도를 계산한다.
• 이중 인코더 아키텍처를 활용하며, 하나는 발화 인코딩을 위해, 다른 하나는 슬롯 유형 설명 인코딩을 위해 사용되며, 모든 슬롯 유형에 공통 파라미터를 사용한다.
• 템플릿 정규화는 정확한 및 잘못된 슬롯 레이블 치환을 사용하여 발화를 템플릿으로 탈디지털화함으로써, 의미적으로 유사한 발화들이 표현 공간에서 응집되도록 유도한다.
• 모든 슬롯 유형 간 공유 표현을 활용하여 일반적인 슬롯 엔티티 패턴을 학습함으로써, 도메인 특화 지도 학습에 대한 의존도를 감소시킨다.
• 이 방법은 슬롯 채우기와 교차 도메인 NER 모두에 적용 가능하며, 과제 간 일관된 성능 향상 효과를 보인다.

실험 결과

연구 질문

• RQ1 일반적인 슬롯 엔티티 패턴을 먼저 학습함으로써, 계층적-세분화 접근이 교차 도메인 슬롯 채우기에서 제로샷 및 패기샷 적응을 향상시킬 수 있는가?
• RQ2 템플릿 정규화는 도메인 간 이동에 따른 모델의 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 학습된 소스 도메인에 존재하지 않는 새로운 슬롯 유형을 탐지하고 정확히 분류할 수 있는 정도는 어느 정도인가?
• RQ4 프레임워크는 교차 도메인 명명된 엔티티 인식과 같은 다른 시퀀스 레이블링 과제로 효과적으로 일반화되는가?
• RQ5 슬롯 엔티티에 대한 다양한 인코딩 전략은 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 타겟 도메인에서 50개의 레이블된 샘플을 사용할 때, Coach는 새로운 슬롯에 대해 F1 스코어 76.95를 기록하고, 기존 슬롯에 대해서는 74.65를 기록하여 이전 최신 기술(SOTA) 방법들을 뛰어넘는다.
• 템플릿 정규화를 적용한 결과, 새로운 슬롯에 대해 F1 스코어가 80.16으로 향상되었고, 기존 슬롯에 대해서는 76.49로 개선되어, 더 강력한 적응 강건성을 입증한다.
• 제로샷 설정에서 Coach는 새로운 슬롯에 대해 F1 스코어 34.09를 기록하고, 기존 슬롯에 대해서는 32.89를 기록하여, 타겟 도메인 레이블이 전혀 없이도 강력한 일반화 능력을 보였다.
• 교차 도메인 NER 과제에서 Coach는 50개의 레이블된 샘플을 사용해 F1 스코어 68.35를 기록하며, BiLSTM-CRF 및 기타 베이스라인을 모두 능가했다.
• 절단 실험 결과, 엔티티 토큰에 대해 BiLSTM 인코딩이 가장 높은 성능을 보였지만, Transformer나 합산 풀링과 같은 대안도 유사한 성능을 보였다.
• 템플릿 정규화는 슬롯 채우기 과제에 성능 향상을 가져왔지만, NER의 경우 텍스트가 더 개방형이므로 템플릿 식별이 어렵기 때문에 영향이 제한적이다.