[논문 리뷰] Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network

Yutai Hou, Wanxiang Che외 5명|arXiv (Cornell University)|2020. 06. 10.

Topic Modeling참고 문헌 34인용 수 7

한 줄 요약

이 논문은 교차 도메인 레이블 종속성 지식 전이를 위한 축소된 의존성 전이와 레이블 강화형 태스크 적응형 투영 네트워크(L-TapNet)를 조합한 소수 샘플 슬롯 태깅 프레임워크를 제안한다. 이는 레이블 이름 의미론과 도메인 특화 종속성을 전이 가능한 패tern으로 추상화함으로써 단어-레이블 유사도 모델링을 향상시킨다. 레이블 이름 의미론을 활용함으로써 일회 설정(one-shot setting)에서 가장 강력한 베이스라인 대비 14.64 F1 점수 향상을 달성한다.

ABSTRACT

In this paper, we explore the slot tagging with only a few labeled support sentences (a.k.a. few-shot). Few-shot slot tagging faces a unique challenge compared to the other few-shot classification problems as it calls for modeling the dependencies between labels. But it is hard to apply previously learned label dependencies to an unseen domain, due to the discrepancy of label sets. To tackle this, we introduce a collapsed dependency transfer mechanism into the conditional random field (CRF) to transfer abstract label dependency patterns as transition scores. In the few-shot setting, the emission score of CRF can be calculated as a word's similarity to the representation of each label. To calculate such similarity, we propose a Label-enhanced Task-Adaptive Projection Network (L-TapNet) based on the state-of-the-art few-shot classification model -- TapNet, by leveraging label name semantics in representing labels. Experimental results show that our model significantly outperforms the strongest few-shot learning baseline by 14.64 F1 scores in the one-shot setting.

연구 동기 및 목표

• 새로운 도메인에서 레이블 예측이 매우 적은 경우 소자원 슬롯 태깅의 과제를 해결한다.
• 레이블 세트가 다를 경우 도메인 간 레이블 종속성 전이의 어려움을 극복한다.
• 레이블 이름 의미론을 레이블 표현에 통합하여 소수 샘플 설정에서 단어-레이블 유사도 모델링을 향상시킨다.
• 레이블 데이터가 극도로 제한된 상황에서 CRF 전이 점수를 추정하는 방법을 개발한다.
• 저샷 상황에서 단어-레이블 유사도와 레이블 간 종속성을 공동으로 모델링하여 효과적인 시퀀스 태깅을 가능하게 한다.

제안 방법

• 투영된 임베딩 공간에서 단어-레이블 유사도로 발화 점수를 계산하는 소수 샘플 CRF 프레임워크를 도입한다.
• 레이블 이름 의미론을 활용해 레이블 표현의 분리도를 향상시키는 TapNet의 레이블 강화형 변종인 L-TapNet을 제안한다.
• 도메인 특화 레이블을 도메인 독립적인 추상 레이블로 추상화하여 이전 레이블 종속성 패턴을 전이하는 축소된 의존성 전이(CDT) 메커니즘을 설계한다.
• 더 나은 유사도 계산을 위해 도메인 특화 맥락을 갖춘 단어를 쌍별 임베딩으로 표현한다.
• 소스 도메인에서 훈련하여 전이 가능한 레이블 종속성과 단어-레이블 유사도를 학습한 후, 몇 개의 지원 예제만을 사용해 타겟 도메인에서 미세조정한다.
• CDT 메커니즘을 사용해 CRF 전이 점수를 추정하며, 이는 소스 도메인에서 추출한 추상 종속성 패턴을 레이블 세트가 다른 새로운 타겟 도메인에 적용한다.

실험 결과

연구 질문

• RQ1 소스 도메인에서의 이전 레이블 종속성 지식이 레이블 세트가 다른 타겟 도메인으로 소수 샘플 슬롯 태깅에서 효과적으로 전이될 수 있는가?
• RQ2 레이블 표현에 레이블 이름 의미론을 통합하면 소자원 환경에서 단어-레이블 유사도 모델링이 향상되는가?
• RQ3 축소된 의존성 전이 메커니즘이 소수 샘플 시퀀스 태깅에서 규칙 기반 또는 단순 전이 점수 계산보다 우수한 성능을 낼 수 있는가?
• RQ4 L-TapNet은 표준 프로토타입 네트워크에 비해 레이블 표현 분리도를 얼마나 향상시키는가?
• RQ5 제안된 모델의 구성 요소인 L-TapNet과 CDT는 성능 향상에 개별적으로나 상호 보완적으로 기여하는가?

주요 결과

• 제안된 모델은 일회 설정(one-shot setting)에서 가장 강력한 소수 샘플 학습 베이스라인 대비 14.64 F1 점수 향상을 달성한다.
• L-TapNet은 레이블 이름 의미론을 활용해 레이블 표현을 크게 향상시켜 더 분리된 임베딩과 높은 단어-레이블 유사도 정확도를 이룬다.
• 축소된 의존성 전이(CDT)는 특히 슬롯 경계와 내부 슬롯 전이 예측에서 규칙 기반 전이 점수 계산보다 뛰어난 성능을 보인다.
• 제거 실험 결과, L-TapNet과 CDT가 성능 향상에 독립적으로 그리고 상호 보완적으로 기여하는 것으로 확인된다.
• 모델는 비틀림 없는, 도메인에 관계없는 레이블 종속성 패턴을 포착하며, 극도로 적은 레이블 데이터로도 다양한 타겟 도메인에서 효과적으로 작동한다.