[논문 리뷰] Modelling Latent Skills for Multitask Language Generation

Kris Cao, Dani Yogatama|arXiv (Cornell University)|2020. 02. 21.

Topic Modeling참고 문헌 49인용 수 4

한 줄 요약

이 논문은 작업 임베딩에 대한 혼합 가우시안을 사용하여 다수의 언어 생성 작업 간의 공유 잠재 스킬을 명시적으로 모델링하는 잠재변수 시퀀스-투-시퀀스 모델을 제안한다. 이 모델은 다중 작업 성능을 햖스하고, 잠재 작업 공간에서의 추론을 통해 안정성과 비교적 유사한 전체 성능을 달성하는 것과 함께, 표준 미세조정보다 더 견고한 소수의 예제에 대한 적응을 가능하게 한다.

ABSTRACT

We present a generative model for multitask conditional language generation. Our guiding hypothesis is that a shared set of latent skills underlies many disparate language generation tasks, and that explicitly modelling these skills in a task embedding space can help with both positive transfer across tasks and with efficient adaptation to new tasks. We instantiate this task embedding space as a latent variable in a latent variable sequence-to-sequence model. We evaluate this hypothesis by curating a series of monolingual text-to-text language generation datasets - covering a broad range of tasks and domains - and comparing the performance of models both in the multitask and few-shot regimes. We show that our latent task variable model outperforms other sequence-to-sequence baselines on average across tasks in the multitask setting. In the few-shot learning setting on an unseen test dataset (i.e., a new task), we demonstrate that model adaptation based on inference in the latent task space is more robust than standard fine-tuning based parameter adaptation and performs comparably in terms of overall performance. Finally, we examine the latent task representations learnt by our model and show that they cluster tasks in a natural way.

연구 동기 및 목표

• 다양한 작업 간의 공유 잠재 스킬을 모델링하여 다중 작업 조건부 언어 생성을 향상시키는 것.
• 잠재 작업 공간에서의 추론을 통해 소수의 예제로 새로운, 알려지지 않은 작업에 효율적으로 적응할 수 있도록 하는 것.
• 작업 전용 스킬을 명시적으로 모델링하면 표준 기준 모델보다 더 나은 일반화와 성능을 달성할 수 있음을 입증하는 것.
• 학습된 잠재 공간에서 작업이 의미적으로 자연스럽게 군집되는지 평가하는 것.

제안 방법

• 모델는 잠재 변수 z를 혼합 가우시안에서 샘플링하며, 각 성분은 훈련 작업에 해당한다.
• 생성 중에 잠재 작업 변수 z가 샘플링되고, 이는 인코더와 디코더 양쪽을 조건으로 삼아, 동일한 입력에 대해 스킬에 따라 다른 출력을 생성할 수 있도록 한다.
• 모델는 데이터셋 식별자를 사용하여 약한 지도 학습을 통해 훈련되며, 이는 각 작업 내에서 공유 스킬에 대한 인덕티브 바이어스를 제공한다.
• 잠재 공간에서의 추론을 통해 모델 파라미터를 업데이트하지 않고도 소수의 예제에 대한 적응이 가능하며, 이는 소수의 예제와 가장 잘 일치하는 z를 샘플링함으로써 이루어진다.
• 잠재 공간을 조사하여 유사한 작업이 자연스럽게 군집되는지 분석함으로써 의미 있는 스킬 표현이 학습되었는지 확인한다.
• 모델는 다양한 텍스트-투-텍스트 생성 작업에서 다중 작업 및 소수의 예제 학습 설정 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 지속적인 작업 임베딩 공간에서 잠재 스킬을 모델링하면 다수의 언어 생성 작업 간의 성능 향상에 기여하는가?
• RQ2 소수의 예제 설정에서 잠재 작업 공간에서의 추론 기반 적응이 표준 미세조정보다 우수한가?
• RQ3 학습된 잠재 작업 표현은 의미적으로 일관되며, 유사한 작업이 자연스럽게 군집되는가?
• RQ4 다중 작업 및 소수의 예제 환경에서 모델의 성능은 강력한 기준 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 모델는 다중 작업 설정에서 강력한 시퀀스-투-시퀀스 기준 모델을 능가하며, 모든 작업의 평균 성능 향상을 달성한다.
• 소수의 예제 설정에서 잠재 공간에서의 추론 기반 적응은 표준 미세조정과 비교해 유사한 성능을 달성하면서도 하이퍼파ram터 선택에 더 강인한 성능을 보인다.
• 모델는 작업 간 양호한 전이 효과를 보이며, 특히 자원이 적은 작업에서 성능 향상이 두드러진다.
• 잠재 공간을 조사한 결과, 작업이 의미적 유사성에 따라 자연스럽게 군집되는 것으로 나타나, 모델이 의미 있고 분리된 스킬 표현을 학습했다는 것을 시사한다.
• 모델의 성능는 작업 수에 민감하게 영향을 받으며, 사전에 작업 수를 고정하지 않을 경우 성능 저하가 발생할 수 있음을 시사한다.