[논문 리뷰] Deep Automated Multi-task Learning

Davis Liang, Yan Shu|arXiv (Cornell University)|2017. 09. 16.

Topic Modeling참고 문헌 6인용 수 7

한 줄 요약

이 논문은 입력 데이터로부터 유도된 내재적 임무(예: 다음 단어 예측, 다음 문자 예측, 누락된 단어 복원)를 보조 임무로 사용하여 딥 순환 네트워크를 위한 자동화된 다중 임무 학습(AutoMTL)을 제안한다. 제안된 MRNN 및 CRNN 아키텍처는 주요 NLP 임무와 자동화된 임무를 함께 학습하여 감성 분석, 주제 예측, 해시태그 추천과 같은 주요 임무에서 더 빠른 수렴 속도와 향상된 정확도를 달성한다. 특히 소규모이고 비공식적인 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

Multi-task learning (MTL) has recently contributed to learning better representations in service of various NLP tasks. MTL aims at improving the performance of a primary task, by jointly training on a secondary task. This paper introduces automated tasks, which exploit the sequential nature of the input data, as secondary tasks in an MTL model. We explore next word prediction, next character prediction, and missing word completion as potential automated tasks. Our results show that training on a primary task in parallel with a secondary automated task improves both the convergence speed and accuracy for the primary task. We suggest two methods for augmenting an existing network with automated tasks and establish better performance in topic prediction, sentiment analysis, and hashtag recommendation. Finally, we show that the MTL models can perform well on datasets that are small and colloquial by nature.

연구 동기 및 목표

• 입력 데이터에서 직접 유도된 자동화된 임무를 도입하여 순차적 NLP 임무에 대한 다중 임무 학습의 일반화를 도모한다.
• 자기지도 보조 임무를 통해 비순서적 레이블이 없는 순차적 데이터를 활용하여 NLP에서 레이블이 제한된 문제를 해결한다.
• 주요 임무와 자동화된 임무를 함께 학습시켜 주요 임무의 수렴 속도와 정확도를 향상시킨다.
• 소규모, 노이즈가 많고 비공식적인 데이터셋(예: 트위터)에서 자동화된 다중 임무 학습의 효과를 평가한다.
• 계층적 임무 관계(예: 주제 예측과 언어 모델링)가 다중 임무 프레임워크에서 성능 향상에 기여하는지를 입증한다.

제안 방법

• 입력 시퀀스에서 파생된 세 가지 자동화된 임무를 제안한다: 다음 단어 예측, 다음 문자 예측, 누락된 단어 복원.
• 두 가지 MTL 아키텍처를 설계한다: 공유 인코더 레이어를 가진 MRNN(Multi-tasking RNN)과 자동화된 임무의 표현을 주요 임무 스트림에 연결하는 CRNN(Cascaded RNN).
• 누락된 단어를 표현하기 위해 word2vec 임베딩을 사용하고, 그 벡터 표현을 예측하기 위해 회귀를 수행한다.
• 모든 실험에서 수렴 안정성을 확보하기 위해 노름 1.0의 기울기 클리핑을 적용하고 배치 크기를 128로 설정한다.
• MRNN에서는 주요 임무와 자동화된 임무에 공통된 LSTM 인코더를 사용하지만, CRNN는 자동화된 임무의 출력을 주요 임무 스트림에 연결형 입력으로 활용한다.
• MTL 모델의 학습률을 적응적으로 조정하여 표준 LSTMs에 비해 더 빠른 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 시퀀스에서 파생된 자동화된 임무가 주요 NLP 임무의 성능 향상과 수렴 속도 향상에 기여하는가?
• RQ2 다음 단어, 다음 문자, 누락된 단어 예측과 같은 다양한 자동화된 임무가 다중 임무 학습에서 얼마나 효과적인가?
• RQ3 주요 임무와 자동화된 임무 사이의 계층적 관계(예: 주제 예측과 언어 모델링)가 평행 학습보다 더 높은 성능을 내는가?
• RQ4 자동화된 다중 임무 학습이 트위터와 같은 저자원, 비공식적인 데이터셋에 일반화 가능한가?
• RQ5 자동화된 다중 임무 학습은 비-NLP 순차적 임무에도 어느 정도 적용 가능한가?

주요 결과

• MRNN 모델은 Rotten Tomato 감성 분석 데이터셋에서 81.2%의 정확도를 기록했으며, 표준 LSTM(80.2%)과 최신 기술인 적대적 모델(83.4%)보다 외부 데이터를 사용해 훈련했을 때 뛰어난 성능을 보였다.
• CRNN는 AG News 주제 예측 작업에서 92.19%의 정확도를 달성하여 이전 최고 성능 모델(92.05%)을 0.14% 초월했다.
• 트위터 해시태그 추천 작업에서 MRNN는 62.0%의 정확도를 기록했으며, LSTM 기준선(57.8%) 대비 4.2% 향상되었고, 더 빠른 수렴을 보였다.
• 두 MTL 모델 모두 표준 LSTM 기준선 대비 약 절반의 에포크 수에서 수렴했으며, MRNN는 10 에포크 이내에 50% 정확도에 도달했다.
• 짧은 텍스트 데이터셋에서는 누락된 단어 복원이 정보 손실로 인해 해로운 것으로 나타나, 정량적 결과에서 제외되었다.
• CRNN는 주제 예측과 언어 모델링 간의 명확한 계층적 관계로 인해 AG News에서 MRNN를 능가했으며, 이는 MTL 설계에서 임무 구조의 중요성을 시사한다.