[논문 리뷰] Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields

Jonas Pfeiffer, Edwin Simpson외 1명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 50인용 수 4

한 줄 요약

이 논문은 저자원 다중 작업 시퀀스 태깅에서 작업 간 의존성을 명시적으로 모델링하기 위해 신경망 기반의 요인화 조건부 랜덤 필드(CRF)를 제안한다. 이는 단일 작업 및 표준 다중 작업 학습 설정보다 성능을 뛰어나게 한다. 깊이 있는 신경망과 작업 간 레이블 상관관계를 포착하는 동적 CRF를 통합함으로써, 특히 실버 POS 태그를 보조 작업으로 사용하여 저자원 환경에서 성능 향상을 이룬다. 이는 희귀하거나 겹치는 구간에 특히 효과적이다.

ABSTRACT

We compare different models for low resource multi-task sequence tagging that leverage dependencies between label sequences for different tasks. Our analysis is aimed at datasets where each example has labels for multiple tasks. Current approaches use either a separate model for each task or standard multi-task learning to learn shared feature representations. However, these approaches ignore correlations between label sequences, which can provide important information in settings with small training datasets. To analyze which scenarios can profit from modeling dependencies between labels in different tasks, we revisit dynamic conditional random fields (CRFs) and combine them with deep neural networks. We compare single-task, multi-task and dynamic CRF setups for three diverse datasets at both sentence and document levels in English and German low resource scenarios. We show that including silver labels from pretrained part-of-speech taggers as auxiliary tasks can improve performance on downstream tasks. We find that especially in low-resource scenarios, the explicit modeling of inter-dependencies between task predictions outperforms single-task as well as standard multi-task models.

연구 동기 및 목표

• 작업 간 레이블 상관관계를 忽시함으로써 발생하는 저자원 다중 작업 시퀀스 태깅의 성능 저하 문제를 해결하기 위해.
• 다른 작업의 레이블 시퀀스 간 의존성을 명시적으로 모델링하면 저자원 환경에서 성능 향상이 이루어지는지 조사하기 위해.
• 다중 작업 학습에서 실버 POS 태그를 보조 작업으로 사용하는 것이 시퀀스 태깅에 효과적인지 평가하기 위해.
• 영어 및 독일어 데이터셋에서 다양한 저자원 시나리오에서 단일 작업, 표준 다중 작업, 동적 CRF 기반 모델을 비교하기 위해.
• 자료가 부족한 환경에서 일반화 능력을 향상시키기 위한 실용적이고 재현 가능한 다중 작업 시퀀스 태깅 프레임워크를 제공하기 위해.

제안 방법

• 다양한 작업 간 레이블 시퀀스를 동시에 모델링할 수 있도록 표준 선형 체인 CRF를 확장한 신경망 기반 요인화 CRF 모델을 제안하여, 작업별 레이블 간 명시적 의존성 모델링을 가능하게 한다.
• 딥 뉴럴 네트워크(DNNs)와 요인화 CRF를 통합하여 특징 표현과 작업 간 레이블 의존성의 엔드 투 엔드 학습을 가능하게 한다.
• 작업별 레이블 상관관계를 포함한 양의 및 음의 의존성을 인코딩하기 위해 공통 확률 행렬 C를 학습하는 가중치 요인화 CRF(WFac) 아키텍처를 사용한다.
• 저비용의 실버 레이블을 제공하기 위해 사전 훈련된 품사 태거를 사용하여 보조 작업으로 활용함으로써, 수동 태깅이 필요 없이 후행 작업의 성능 향상을 이룬다.
• 공유된 DNN 인코더와 작업별 CRF 레이어를 갖춘 다중 헤드 아키텍처를 제안하고, 이를 제안된 요인화 CRF 설정과 비교한다.
• 영어 및 독일어에서 문장 수준와 문서 수준의 세 가지 다양한 데이터셋(Streusle, FAMULUS, Malware)을 대상으로 저자원 조건 하에서 광범위한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 작업 간 레이블 의존성을 명시적으로 모델링하면 저자원 다중 작업 시퀀스 태깅에서 성능 향상이 이루어지는가?
• RQ2 저자원 환경에서 신경망 기반 요인화 CRF의 성능은 단일 작업 및 표준 다중 작업 학습 설정보다 어떻게 비교되는가?
• RQ3 사전 훈련된 모델에서 유도된 실버 POS 태그가 다중 작업 시퀀스 태깅에서 효과적인 보조 작업으로 기능하는가?
• RQ4 희귀하거나 겹치는 구간에 대해 레이블 간 의존성을 모델링할 때 성능 향상이 가장 크게 나타나는 시나리오는 어떤가?
• RQ5 표준 다중 작업 학습과 비교할 때 명시적 의존성 모델링이 작업 간 간섭을 줄이는가?

주요 결과

• 가중치 요인화 CRF(WFac) 모델은 저자원 환경에서 단일 작업 및 표준 다중 작업 학습 모델보다 성능이 뛰어나며, 특히 Streusle 데이터셋에서 MWE 및 SSC와 같이 희귀하거나 겹치는 구간을 가진 작업에서 두드러진 성능 향상을 보였다.
• 공통 확률 행렬 C를 통한 레이블 의존성의 명시적 모델링은 불가능한 레이블 조합을 감소시키고 가능성이 높은 조합을 강화함으로써 예측 정확도를 향상시킨다.
• 작업 간 상호의존성이 높을수록 성능 향상이 두드러지며, 특히 Streusle 데이터셋에서 POS와 MWE 간 강한 양의 및 음의 상관관계를 학습함으로써 성능 향상이 두드러졌다.
• 실버 POS 태그를 보조 작업으로 사용할 경우, 보조 작업 자체의 성능이 떨어지더라도 유용한 의존성 신호의 전이로 인해 타겟 작업의 성능 향상이 뚜렷하게 관찰되었다.
• 표준 다중 작업 학습은 일부 작업의 성능 저하가 발생할 수 있으며, 이는 공유 표현만으로는 한계가 있음을 시사한다.
• 요인화 CRF 접근법은 초기 단계의 데이터셋 구축 시 특히 유용하며, 신뢰할 수 있는 레이블 제안을 통해 태깅 속도와 이면자 간 일致도를 향상시킬 수 있다.