[논문 리뷰] Adversarial Multi-task Learning for Text Classification

Pengfei Liu, Xipeng Qiu외 1명|arXiv (Cornell University)|2017. 04. 19.

Topic Modeling참고 문헌 23인용 수 91

한 줄 요약

논문은 텍스트 분류에서 작업 불변의 공유 특징을 작업 특화의 개인 특징으로 분리하기 위해 적대적 공유-개인 다중 작업 학습 프레임워크(ASP-MTL)를 제안하고, 적대적 학습과 직교성 제약을 사용하며, 16개 데이터셋 전반에 걸친 강력한 개선과 새로운 작업으로의 전이 가능성을 시연한다.

ABSTRACT

Neural network models have shown their promising opportunities for multi-task learning, which focus on learning the shared layers to extract the common and task-invariant features. However, in most existing approaches, the extracted shared features are prone to be contaminated by task-specific features or the noise brought by other tasks. In this paper, we propose an adversarial multi-task learning framework, alleviating the shared and private latent feature spaces from interfering with each other. We conduct extensive experiments on 16 different text classification tasks, which demonstrates the benefits of our approach. Besides, we show that the shared knowledge learned by our proposed model can be regarded as off-the-shelf knowledge and easily transferred to new tasks. The datasets of all 16 tasks are publicly available at \url{http://nlp.fudan.edu.cn/data/}

연구 동기 및 목표

• 텍스트 분류를 위한 다중 작업 학습의 동기를 제시하고 공유 특징이 작업 특이 신호에 의해 오염되는 문제를 다룬다.
• 적대 학습과 직교성 제약을 통해 분리되고 더 순수한 공유 특징 공간을 강건하게 구현하는 프레임워크를 제안한다.
• 16개 데이터셋에서 베이스라인 대비 개선을 보이고 공유 지식의 새로운 작업으로의 전이 가능성을 보여준다.

제안 방법

• LSTM 기반 텍스트 인코더를 채택하고 완전히 공유된 구조와 각 작업마다 개인적으로 분리된 아키텍처, 그리고 작업 불변의 공유 특징을 강화하는 적대적 판별기를 가진다.
• 이진 적대적 학습을 다중 클래스으로 확장하여 많은 작업 간의 공동 학습과 비라벨 데이터 활용을 가능하게 한다.
• 직교성 손실 L_diff = sum_k || S^k^T H^k ||_F^2 를 도입하여 공유 표현과 개인 표현 간의 중첩을 최소화한다.
• 합성 손실 L = L_Task + lambda * L_Adv + gamma * L_Diff 를 사용하여 학습하고, 적대적 최적화를 위한 그래디언트 역전 레이어를 활용한다.
• 제품 리뷰 및 영화 데이터셋에서 16개 데이터셋을 평가하며 단일 태스크 LSTMs 및 멀티태스크 베이스라인(FS-MTL, SP-MTL, ASP-MTL)과 비교한다.

실험 결과

연구 질문

• RQ1 적대적 학습이 공유 공간으로 누출되는 작업 특이 특징을 방지함으로써 더 순수한 공유 표현을 얻을 수 있는가?
• RQ2 공유 공간과 개인 공간 간의 직교성을 강제하는 것이 특징 중복을 줄이고 일반화 성능을 향상시키는가?
• RQ3 학습된 공유 표현이 unseen 작업에 오프 더 셸프 지식으로 이전 가능한가?
• RQ4 ASP-MTL이 광범위한 텍스트 분류 작업에서 베이스라인 멀티태스크 접근법과 어떻게 비교되는가?
• RQ5 반지도학습을 통합하여 이 프레임워크 내에서 비라벨 데이터를 활용할 수 있는가?

주요 결과

• ASP-MTL은 단일 태스크 베이스라인 및 다른 멀티태스크 모델과 비교하여 대부분의 16개 데이터셋에서 가장 낮은 오차율을 달성한다.
• 적대적 학습은 SP-MTL 대비 측정 가능한 차이를 제공하며 SP-MTL 대비 평균 약 4.1%의 개선을 보인다.
• 직교성 제약은 공유 공간과 개인 공간 간의 중첩을 줄이는 데 기여하여 작업별 예측과 해석성을 향상시킨다.
• ASP-MTL에서 전이된 공유 추출기가 새로운 대상 작업의 성능을 향상시킬 수 있으며, 특히 Bi-Channel 전이에서 두드러진다.
• 이 프레임워크는 unlabeled 데이터를 활용한 작업 적대적 손실을 통해 도메인 불변 공유를 촉진하는 반지도학습을 지원한다.