[논문 리뷰] Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding

Yutai Hou, Zhihan Zhou외 5명|arXiv (Cornell University)|2019. 06. 20.

Topic Modeling참고 문헌 22인용 수 7

한 줄 요약

이 논문은 도메인 간 다른 레이블 세트를 가진 소수의 시퀀스 레이블링을 위한 CRF 기반 프레임워크를 제안한다. 이는 쌍별 임베딩을 통한 토큰 유사도와 레이블 의존성 전이를 통합한다. 맥락 인식 표현과 이식 가능한 레이블 전이 패턴의 공동 모델링을 통해, 일시적 슬롯 태깅과 NER에서 각각 F1 점수를 11.76점(+21.2%)과 12.18점(+97.7%) 향상시켜 최신 기술 수준을 달성한다.

ABSTRACT

While few-shot classification has been widely explored with similarity based methods, few-shot sequence labeling poses a unique challenge as it also calls for modeling the label dependencies. To consider both the item similarity and label dependency, we propose to leverage the conditional random fields (CRFs) in few-shot sequence labeling. It calculates emission score with similarity based methods and obtains transition score with a specially designed transfer mechanism. When applying CRF in the few-shot scenarios, the discrepancy of label sets among different domains makes it hard to use the label dependency learned in prior domains. To tackle this, we introduce the dependency transfer mechanism that transfers abstract label transition patterns. In addition, the similarity methods rely on the high quality sample representation, which is challenging for sequence labeling, because sense of a word is different when measuring its similarity to words in different sentences. To remedy this, we take advantage of recent contextual embedding technique, and further propose a pair-wise embedder. It provides additional certainty for word sense by embedding query and support sentence pairwisely. Experimental results on slot tagging and named entity recognition show that our model significantly outperforms the strongest few-shot learning baseline by 11.76 (21.2%) and 12.18 (97.7%) F1 scores respectively in the one-shot setting.

연구 동기 및 목표

• 레이블 데이터가 부족하고 도메인 간 레이블 세트가 상이한 소수 시퀀스 레이블링 문제에 대응하기 위해.
• 저자원 환경에서 토큰 유사도와 레이블 의존성을 공동으로 모델링하여 시퀀스 레이블링 성능을 향상시키기 위해.
• 소수 학습 환경에서 쿼리-지원 쌍의 쌍별 맥락을 활용하여 단어 의미 표현의 모호성을 줄이기 위해.
• 도메인 간 다른 레이블 세트를 가진 환경에서 추상화된 레이블 표현을 사용해 레이블 의존성 패턴을 전이하기 위해.
• 의존성 전이가 수작업으로 만든 전이 규칙보다 우수하며, 소수 시나리오에서 레이블링 정확도를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 조건부 랜덤 필드(CRF)를 사용하여 시퀀스 레이블링을 모델링하며, 발화 점수는 유사도 기반 방법에서 유도하고 전이 점수는 의존성 전이 기반 메커니즘을 통해 학습한다.
• 쿼리와 지원 문장 토큰을 동시에 인코딩하는 자기주의(Self-attention)를 사용하는 쌍별 임베더를 도입하여 맥락 내 단어 의미 표현의 정확도를 향상시킨다.
• 도메인 전용 레이블을 추상 레이블로 요약하고, 이들 간의 전이 패턴을 학습하여 도메인 간 전이를 가능하게 하는 의존성 전이 메커니즘을 적용한다.
• 문맥 임베딩(BERT 스타일 등)을 사용하여 풍부한 의미 표현을 캡처하고, 이를 유사도 점수 계산에 활용하여 발화 모델링에 사용한다.
• 여러 개의 소스 도메인에서 학습하고, 각 클래스당 1~5개의 레이블된 예제만을 사용하여 타겟 도메인으로 적응한다. 이 과정에서 레이블 의존성과 토큰 유사도에 대한 사전 지식을 활용한다.
• 프로토타입 기반의 유사도 메커니즘을 사용하여 발화 점수를 계산하며, 각 토큰의 표현을 지원 세트의 프로토타입과 비교한다.

실험 결과

연구 질문

• RQ1 레이블 세트가 도메인 간으로 다를 때, 레이블 의존성 전이가 소수 시퀀스 레이블링 성능 향상에 효과적으로 기여하는가?
• RQ2 쿼리 및 지원 시퀀스의 쌍별 임베딩이 단어 의미의 모호성을 줄이고, 유사도 기반 분류 성능을 향상시키는가?
• RQ3 의존성 전이가 수작업으로 만든 전이 규칙에 비해 정확도와 도메인 간 일반화 능력에서 어떻게 비교되는가?
• RQ4 톆크 유사도와 레이블 의존성의 공동 모델링이 저자원 시퀀스 레이블링에서 성능 향상에 얼마나 기여하는가?
• RQ5 전반적인 성능 향상에서 의존성 전이와 쌍별 임베딩의 기여도는 각각 어느 정도인가?

주요 결과

• 제안된 모델은 일시적 슬롯 태깅에서 가장 강력한 베이스라인 대비 F1 점수를 11.76점 향상시켜 상대적 21.2% 향상되었다.
• 일시적 명명된 실체 인식(NER)에서는 F1 점수를 12.18점 향상시켜 상대적 97.7% 향상되었으며, 뛰어난 일반화 능력을 보였다.
• 의존성 전이 기법은 수작업 전이 규칙보다 뚜렷이 뛰어나며, 특히 레이블 스패닝 경계 탐지와 불법 전이 감소에 효과적이다.
• 제거 실험을 통해 쌍별 임베딩과 의존성 전이 모두 성능 향상에 독립적이고 상당한 기여를 한다는 것이 확인되었다.
• 의존성 전이 메커니즘은 단순한 규칙로 쉽게 모델링하기 어려운 비트리비얼한, 이식 가능한 레이블 전이 패턴을 포착한다.
• 정확도 분석 결과, 의존성 전이가 모든 이중어형 유형(특히 B-O 및 I-O 쌍)에 대해 예측 성능을 향상시키며, 가장 높은 향상률을 보였다.