[논문 리뷰] Identifying beneficial task relations for multi-task learning in deep neural networks

Joachim Bingel, Anders Søgaard|arXiv (Cornell University)|2017. 02. 27.

Topic Modeling참고 문헌 18인용 수 12

한 줄 요약

이 논문은 NLP 시퀀스 레이블링 작업을 위한 딥 네ural 네트워크에서 다중태스크 학습(MTL)의 성공 여부를 예측할 수 있는 특징들을 규명한다. 단일태스크 학습 곡선과 데이터셋 특성 분석을 통해 MTL 성과 향상은 주로 메인 태스크의 학습 곡선이 조기에 평탄해지지만(기울기가 낮아지며), 보조 태스크의 곡선은 여전히 기울어져 있을 때 가장 높게 나타나며, 이는 MTL이 국소 최소값에서 벗어나도록 돕는다는 것을 시사한다. 또한 보조 태스크의 레이블 엔트로피 역시 강력한 예측 변수이다.

ABSTRACT

Multi-task learning (MTL) in deep neural networks for NLP has recently received increasing interest due to some compelling benefits, including its potential to efficiently regularize models and to reduce the need for labeled data. While it has brought significant improvements in a number of NLP tasks, mixed results have been reported, and little is known about the conditions under which MTL leads to gains in NLP. This paper sheds light on the specific task relations that can lead to gains from MTL models over single-task setups.

연구 동기 및 목표

• 딥 네ural 네트워크를 사용한 NLP 작업에서 다중태스크 학습(MTL)이 성능 향상을 가져오는 조건을 체계적으로 규명하는 것.
• 하이퍼파라미터 재조정 없이도 MTL 성공 여부를 예측할 수 있는 데이터셋 수준 및 학습 동역학적 특징을 규명하는 것.
• 태스크 유사도, 레이블 분포, 또는 학습 곡선 패턴이 시퀀스 레이블링에서 MTL의 효과성에 미치는 영향을 조사하는 것.
• 데이터 크기, 레이블 엔트로피, 분포 간 분산(JSD)이 MTL 이점 예측에 어떤 역할을 하는지 평가하는 것.
• NLP에서 MTL에 유용한 태스크 조합을 선택하는 데 실질적인 통찰을 제공하는 것.

제안 방법

• 12개의 NLP 시퀀스 레이블링 작업을 대상으로 공유 양방향 LSTM 인코더를 사용해 총 90개의 다중태스크 학습 실험을 수행하였다.
• 하이퍼파라미터를 단일태스크 설정에서 그대로 재사용하여 태스크 간 관계의 영향을 하이퍼파라미터 조정의 영향과 분리하였다.
• 학습 진행률 10%, 20%, 30%, 50%, 70%에서의 기울기 등을 포함해 총 42개의 예측 특징을 단일태스크 학습 곡선에서 추출하였다.
• MTL 이점(단일태스크 기준 F1 점수 향상도)을 예측하는 데 가장 강력한 특징을 식별하기 위해 로지스틱 회귀를 사용하였다.
• 레이블 엔트로피, 어휘의 OOV 비율, 제닝-섀넌 분산(JSD), 특징 표현의 프로베니우스 노름 등 다양한 특징을 분석하였다.
• 로지스틱 회귀 모델의 계수를 비교함으로써 메인 태스크와 보조 태스크 특성의 상대적 중요도를 평가하였다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크를 사용한 시퀀스 레이블링에서 MTL 성과 향상 여부를 예측하는 데 가장 적합한 데이터셋 수준 및 학습 동역학적 특징는 무엇인가?
• RQ2 학습 곡선 패턴(예: 특정 학습 단계에서의 기울기)이 MTL이 성능 향상에 기여할지를 예측하는 데 어느 정도 유용한가?
• RQ3 레이블 분포(엔트로피)와 데이터 균형은 MTL 성공에 어떤 영향을 미치며, 레이블 균일도는 신뢰할 수 있는 예측 변수인가?
• RQ4 태스크 간 데이터 분포 간 제닝-섀넌 분산(JSD)이 MTL 성능을 예측할 수 있는가? 이는 일반적으로 전이학습에서 가정되는 바이다.
• RQ5 메인 태스크와 보조 태스크 간 크기 차이가 MTL 성과 향상 여부를 예측할 수 있는가, 아니면 실무에서는 이는 덜 중요할까?

주요 결과

• MTL 이점에 가장 강력한 예측 변수는 메인 태스크 학습 곡선의 20~30% 진행 단계에서의 기울기이며(부정적 계수: -0.297), 이는 곡선이 조기에 평탄해지면 MTL 성과 향상이 커진다는 것을 의미한다.
• 보조 태스크의 학습 곡선 기울기(학습 진행률 10% 시점) 역시 매우 강력한 예측 변수이며(계수: 0.267), 기울기가 더 급할수록 MTL 성과 향상이 더 크다.
• MTL는 메인 태스크가 조기에 평탄해지지만(기울기가 낮다) 보조 태스크는 여전히 기울어져 있을 때 가장 효과적이다. 이는 MTL이 메인 태스크의 국소 최소값에서 벗어나도록 돕는다는 것을 시사한다.
• 보조 태스크의 레이블 엔트로피 역시 강력한 예측 변수이며(계수: -0.411), 균일한 레이블 분포가 MTL에 유리하다는 이전 연구 결과를 지지한다.
• 메인 태스크의 크기와 OOV 비율 역시 예측 가능하며, OOV 비율이 높을수록 MTL 이점이 더 크다(계수: 0.061).
• 제닝-섀넌 분산(JSD)과 데이터셋 크기의 차이는 약한 예측 변수이며, 전이학습에서 일반적으로 가정되는 바로는 반대되는 결과를 보이며, 이는 본 설정에서 MTL 성공 여부에 대해 덜 관련성이 있음을 시사한다.