[논문 리뷰] Few-shot sequence labeling with label dependency transfer

Yutai Hou, Zhihan Zhou외 5명|arXiv (Cornell University)|2019. 06. 20.

Topic Modeling참고 문헌 28인용 수 7

한 줄 요약

이 논문은 도메인 간 레이블 세트 불일치 문제를 해결하기 위해 도메인 간 추상적 레이블 전이 패턴을 전이하는 소수 샘플 시퀀스 레이블링 프레임워크를 제안한다. 시퀀스 매칭 네트워크와 CRF 기반 아키텍처, 그리고 의존성 전이를 결합함으로써, 1-샷 설정에서 슬롯 태깅과 명명된 실체 인식 작업에서 강력한 베이스라인 대비 각각 7.96점과 11.70점의 F1 점수 향상을 달성한다.

ABSTRACT

Few-shot sequence labeling faces a unique challenge compared with the other fewshot classification problems, owing to the necessity for modeling the dependencies between labels. Different domains often have different label sets, which makes it difficult to directly utilize the label dependencies learned from one domain in another domain. In this paper, we introduce the dependency transfer mechanism that addresses such label-discrepancy problem. The dependency transfer mechanism learns the abstract label transition patterns from the source domains and generalizes such patterns in the target domain to benefit the prediction of a label sequence. We also develop the sequence matching network by adapting the matching network to sequence labeling case. Moreover, we propose a CRF-based few-shot sequence labeling framework to integrate both the dependency transfer mechanism and the sequence matching network. Experiments on slot tagging (ST) and named entity recognition (NER) datasets show that our model significantly outperforms the strongest few-shot learning baseline by 7.96 and 11.70 F1 scores respectively in the 1-shot setting.

연구 동기 및 목표

• 소수 샘플 시퀀스 레이블링에서 도메인 간 레이블 세트 불일치 문제를 해결하기 위해.
• 소스 도메인에서 일반화된 추상적 레이블 전이 패턴을 학습하여 타겟 도메인으로 전이하기 위해.
• 레이블 의존성 전이와 시퀀스 매칭을 통합하여 소수 샘플 시퀀스 레이블링 성능을 향상시키기 위해.
• 매칭 네트워크와 의존성 전이를 결합한 CRF 기반 프레임워크를 개발하여 시퀀스 수준 예측을 수행하기 위해.

제안 방법

• 의존성 전이 메커니즘은 소스 도메인에서 추상적 레이블 전이 패턴을 학습하여, 레이블 세트가 다른 타겟 도메인으로 일반화한다.
• 시퀀스 매칭 네트워크는 매칭 네트워크에서 유도되어 순차적 입력과 레이블 예측을 처리하도록 적응시켰다.
• CRF 기반 프레임워크는 시퀀스 매칭 네트워크와 의존성 전이를 통합하여 공동의 시퀀스 레이블링을 수행한다.
• 레이블 전이 패턴은 특정 레이블 어휘와는 독립적으로 추상화되어, 도메인 간 일반화를 가능하게 한다.
• 모델은 추론 중에 지원 시퀀스와 쿼리 시퀀스를 정렬하기 위해 어텐션 메커니즘을 사용한다.
• CRF 레이어는 인접한 레이블 간의 의존성을 모델링하여 레이블 시퀀스의 일관성을 강제한다.

실험 결과

연구 질문

• RQ1 소수 샘플 시퀀스 레이블링에서 레이블 세트가 다른 도메인 간에 추상적 레이블 전이 패턴을 효과적으로 전이할 수 있는가?
• RQ2 시퀀스 매칭과 의존성 전이를 통합하면 소수 샘플 시퀀스 레이블링 성능가 어떻게 향상되는가?
• RQ3 제안된 프레임워크는 기존의 소수 샘플 학습 베이스라인 대비 시퀀스 레이블링 작업에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 피팅 트레이닝 없이도 저자원 환경에서 새로운 레이블 세트로 일반화할 수 있는가?

주요 결과

• 제안된 모델은 1-샷 설정에서 슬롯 태깅 데이터셋에서 가장 강력한 베이스라인 대비 7.96 F1 점수 향상을 달성했다.
• 명명된 실체 인식 데이터셋에서 1-샷 설정에서 가장 강력한 베이스라인 대비 F1 점수가 11.70 포인트 향상되었다.
• 의존성 전이 메커니즘이 레이블 세트가 다른 도메인 간에 레이블 전이 패턴을 성공적으로 일반화했다.
• 시퀀스 매칭과 CRF 기반 디코딩의 통합은 시퀀스 수준 예측 정확도를 크게 향상시켰다.