[논문 리뷰] Multi-task learning to improve natural language understanding

Stefan Constantin, Jan Niehues외 1명|arXiv (Cornell University)|2018. 12. 17.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 항공 여행 분야의 소규모 합성 데이터셋에서 F1 스코어를 80.76%에서 84.98%로 향상시키며 자연어 이해(NLU) 성능을 향상시키기 위해 도메인 내 합성 데이터와 영화 및 텔레비전 자막에서 유래한 도메인 외부 실재 데이터를 공동으로 훈련하는 다중 작업 학습 접근법을 제안한다. 주목적 기반의 순서-순서 모델에서 작업 간 인코더를 공유함으로써, 미세조정 없이도 일반화 능력이 향상됨을 입증한다.

ABSTRACT

Recently advancements in sequence-to-sequence neural network architectures have led to an improved natural language understanding. When building a neural network-based Natural Language Understanding component, one main challenge is to collect enough training data. The generation of a synthetic dataset is an inexpensive and quick way to collect data. Since this data often has less variety than real natural language, neural networks often have problems to generalize to unseen utterances during testing. In this work, we address this challenge by using multi-task learning. We train out-of-domain real data alongside in-domain synthetic data to improve natural language understanding. We evaluate this approach in the domain of airline travel information with two synthetic datasets. As out-of-domain real data, we test two datasets based on the subtitles of movies and series. By using an attention-based encoder-decoder model, we were able to improve the F1-score over strong baselines from 80.76 % to 84.98 % in the smaller synthetic dataset.

연구 동기 및 목표

• 항공 여행과 같은 저자원 도메인에서 자연어 이해(NLU)를 위한 제한된 도메인 내 훈련 데이터 문제를 해결하기 위해.
• 일반적으로 언어 다양성이 부족한 합성 데이터셋으로 훈련된 신경망 NLU 모델의 일반화 능력을 향상시키기 위해.
• 도메인 외부 실재 데이터(예: 영화 자막)를 도메인 내 합성 데이터와 공동으로 훈련함으로써 성능 향상 여부를 평가하기 위해.
• 순서-순서 모델에서 공유 인코더 다중 작업 학습의 효과성을 조사하기 위해.
• 다중 작업 학습 후에 미세조정이 도메인 내 NLU 작업 성능 향상에 기여하는지 평가하기 위해.

제안 방법

• 도메인 내 합성 데이터와 도메인 외부 실재 데이터(OpenSubtitles QA 및 대화 데이터셋) 간에 공유 임bedding 및 인코더 레이어를 갖춘 주목적 기반 인코더-디코더 모델을 사용한다.
• 최적화 중 퍼즐리티 급증을 방지하기 위해 훈련을 안정화시키기 위해 다중 미니배치 그룹에 걸쳐 기울기 누적 기법을 적용한다.
• Adam 옵timizer를 사용하며, 훈련 스케줄은 각 미니배치 그룹당 한 작업씩 처리하지만, t개 그룹에 걸쳐 기울기를 누적하여 매 t단계마다 가중치를 갱신한다.
• 먼저 다중 작업 모델을 훈련한 후, 동일한 훈련 데이터를 사용하여 도메인 내 작업에서 미세조정을 수행한다.
• ATIS 벤치마크의 테스트 세트에서 F1 스코어와 의도 정확도를 사용하여 성능을 평가하고, 단일 작업 기반 베이스라인과 비교한다.
• 평가를 위해 두 개의 합성 데이터셋(ATIS 소형 및 중간형)과 두 개의 도메인 외부 데이터셋(OpenSubtitles QA 및 대화)을 사용한다.

실험 결과

연구 질문

• RQ1 도메인 내 합성 데이터와 도메인 외부 실재 데이터를 공동으로 훈련하면 자연어 이해 작업의 F1 스코어 향상이 가능한가?
• RQ2 다중 작업 순서-순서 모델에서 인코더 레이어만 공유할 경우, 전체 파라미터 공유 또는 공유 없이도 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 합성 데이터만 이용할 경우, 다중 작업 학습이 단일 작업 학습보다 어떻게 다를까?
• RQ4 다중 작업 학습 후에 미세조정을 수행하면 도메인 내 NLU 작업 성능 향상이 더 이상 이루어지는가?
• RQ5 노이즈가 있거나 구조적으로 맞지 않는 도메인 외부 데이터(예: QA vs. 대화)도 여전히 도메인 내 NLU에 유용한 유도적 편향을 제공할 수 있는가?

주요 결과

• 다중 작업 학습 접근법은 ATIS 소형 합성 데이터셋에서 F1 스코어를 80.76%에서 84.98%로 향상시켜 단일 작업 기반 베이스라인 대비 4.22%p 향상시켰다.
• 더 큰 ATIS 중간 데이터셋에서는 OpenSubtitles 대화 데이터셋을 사용한 다중 작업 모델이 F1 스코어 93.27%를 기록했으며, 실재 ATIS 데이터로 훈련된 단일 작업 모델(93.62%)과 0.35%p 밖에 떨어지지 않았다.
• 가장 높은 성능을 보인 다중 작업 모델(OpenSubtitles 대화 데이터셋 사용)은 ATIS 소형 데이터셋에서 테스트 F1 스코어 84.98%를 기록했으며, 단일 작업 기반 베이스라인 대비 4.22%p 높았다.
• 다중 작업 학습 후에 미세조정을 수행했을 때 F1 스코어 향상 폭이 미미하여, 다중 작업 모델이 추가 조정 없이도 강력한 성능을 달성했음을 시사한다.
• OpenSubtitles QA 데이터로 훈련된 모델은 ATIS 소형 데이터셋에서 테스트 F1 스코어 83.08%를 기록했으며, 베이스라인 대비 2.32%p 향상되었다.
• 의도 정확도 역시 유의미하게 향상되었으며, OpenSubtitles 대화 데이터셋을 다중 작업 학습에 활용했을 경우 ATIS 소형 데이터셋에서 1.79%p 향상되었다.