[논문 리뷰] Multi-Task Learning for Sequence Tagging: An Empirical Study

Soravit Changpinyo, Hexiang Hu외 1명|arXiv (Cornell University)|2018. 08. 13.

Natural Language Processing Techniques참고 문헌 60인용 수 57

한 줄 요약

논문은 11가지 시퀀스 태깅 작업에 대해 세 가지 MTL 접근법을 실증적으로 비교하고, All 또는 Oracle MTL이 대략 절반의 경우 STL보다 우수할 수 있음을 보이며 작업 간 관계와 태스크를 의미적으로 클러스터링하는 임베딩을 드러냅니다.

ABSTRACT

We study three general multi-task learning (MTL) approaches on 11 sequence tagging tasks. Our extensive empirical results show that in about 50% of the cases, jointly learning all 11 tasks improves upon either independent or pairwise learning of the tasks. We also show that pairwise MTL can inform us what tasks can benefit others or what tasks can be benefited if they are learned jointly. In particular, we identify tasks that can always benefit others as well as tasks that can always be harmed by others. Interestingly, one of our MTL approaches yields embeddings of the tasks that reveal the natural clustering of semantic and syntactic tasks. Our inquiries have opened the doors to further utilization of MTL in NLP.

연구 동기 및 목표

• 다수의 시퀀스 태깅 작업을 공동 학습하는 것이 쌍별 학습이나 독립 학습을 넘는 이점을 제공하는지 조사한다.
• MTL에서 어떤 작업들이 서로를 돕거나 해치는지 식별하기 위해 작업 간 관계를 특성화한다.
• 다양한 태그 집합에서 공유 및 성능에 어떤 차이가 나타나는지 MTL 아키텍처가 어떻게 작용하는지 탐구한다.
• 유익한 작업들의 Oracle 집합이 All MTL 및 STL보다 성능을 향상시킬 수 있는지 여부를 평가한다.

제안 방법

• 세 가지 MTL 프레임워크를 설명하고 구현한다: Multi-Dec(공유 인코더, 다수의 디코더), TE ⊕ Dec(디코더에 태스크 임베딩이 투입되는 공유 인코더/디코더), TE ⊕ Enc(입력에 태스크 임베딩을 앞에 붙인 인코더)
• 11개의 시퀀스 태깅 작업에 대해 biRNN(GRU 유닛) 기반의 공통 인코더/디코더 설정과 CRF 분류기를 사용한다
• 태스크 간 균형 샘플링 미니배치 전략으로 학습하고 span 기반 마이크로-평균 F1 점수로 평가합니다; STL, Pairwise MTL, All MTL, Oracle MTL, All-but-one MTL 설정을 비교한다
• 튜닝 가능한 샘플 관계에서 STL 대비 테스트 태스크를 개선하는 작업을 선택해 Pairwise 결과로부터 Oracle 세트를 구성하고, Oracle이 All MTL과 어떻게 비교되는지 분석한다
• 교차-태스크 분석을 광범위하게 제공하여 Pairwise 이익/위험 그래프 및 태스크 기여도 표를 포함한다
• 실험 설정은 UD v1.4, CoNLL-2000/2003, Streusle, SemCor 등의 데이터셋을 사용하며 논문에 열거된 레이블 공간과 엔트로피를 포함한다

실험 결과

연구 질문

• RQ1 두 가지보다 많은 태스크를 함께 학습하는 것이 STL 또는 단순 쌍별 MTL에 비해 시퀀스 태깅의 성능을 향상시키는가?
• RQ2 태스크 간 이익적이거나 해로운 관계는 무엇이며 모든 태스크를 함께 학습할 때 이 관계는 어떻게 확장되는가?
• RQ3 유익한 태스크의 Oracle 기반 선택이 All MTL을 지속적으로 능가하는가, 그리고 어떤 조건에서 그런가?
• RQ4 태스크 임베딩이 구문적 및 의미적 태스크의 자연스러운 클러스터링을 드러내는지?

주요 결과

• 약 50%의 경우에서 All 또는 Oracle MTL이 STL이나 쌍별 학습에 비해 11개 작업 전반에 걸쳐 개선을 보인다.
• 쌍별 MTL은 명확한 이익/해로운 관계를 드러내며, 일부 작업(mwe, supsense, semtr, hyp)은 다른 작업에 유익한 경향이 있고, 다른 작업(com, frame, hyp)은 해로운 경향이 있다.
• All MTL은 종종 Pairwise MTL을 능가하거나 같은 수준에 도달하며, 많은 경우 식별된 유익한 작업을 활용하는 Oracle MTL이 이를 능가하는 경우가 많다.
• TE 기반 모델에서 사용되는 태스크 임베딩은 구문적 작업과 의미적 작업을 클러스터링하는 임베딩을 만들어 의미 있는 태스크 표현을 시사한다.
• 특히 com과 같은 몇몇 작업에서 All MTL은 단일 쌍별 태스크가 STL을 개선하지 못하더라도 더 나은 일반화 효과를 보여 유익한 정규화를 시사한다.
• 쌍별 MTL의 All MTL에 대한 예측력은 존재하지만 완벽하지는 않으며, 방향은 일반적으로 신뢰할 수 있지만 크기는 쉽게 예측되지는 않는다.