[논문 리뷰] Multinomial Adversarial Networks for Multi-Domain Text Classification

Xilun Chen, Claire Cardie|arXiv (Cornell University)|2018. 02. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 19

한 줄 요약

이 논문은 다중 도메인 텍스트 분류(MDTC)를 위한 다항분포 적대망(MAN)을 제안한다. MAN은 다중 도메인 간 특징 분포 간 f-divergence를 최소화하기 위해 다항분포 판별기를 사용하여 도메인 불변 표현을 학습한다. 이로 인해 기존의 CMSC 및 ASP-MTL 등의 방법보다 뛰어난 성능을 기록하며, 일부 도메인에서 레이블이 없는 경우에도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many text classification tasks are known to be highly domain-dependent. Unfortunately, the availability of training data can vary drastically across domains. Worse still, for some domains there may not be any annotated data at all. In this work, we propose a multinomial adversarial network (MAN) to tackle the text classification problem in this real-world multidomain setting (MDTC). We provide theoretical justifications for the MAN framework, proving that different instances of MANs are essentially minimizers of various f-divergence metrics (Ali and Silvey, 1966) among multiple probability distributions. MANs are thus a theoretically sound generalization of traditional adversarial networks that discriminate over two distributions. More specifically, for the MDTC task, MAN learns features that are invariant across multiple domains by resorting to its ability to reduce the divergence among the feature distributions of each domain. We present experimental results showing that MANs significantly outperform the prior art on the MDTC task. We also show that MANs achieve state-of-the-art performance for domains with no labeled data.

연구 동기 및 목표

• 일부 도메인에서 레이블 데이터가 부족하거나 존재하지 않는 다중 도메인 텍스트 분류(MDTC) 문제를 해결하기 위해.
• 기존의 공유-개별 모델에서 도메인 특화된 특징이 공유 분류기로 유출되는 한계를 극복하기 위해.
• 다중 도메인 특징 분포 간의 산란을 최소화하는 이론적으로 타당한 프레임워크를 개발하기 위해.
• 일부 도메인에서 레이블 데이터가 없는 반감독 설정에서 효과적인 전이 학습을 가능하게 하기 위해.
• 다항분포 적대망의 이론적 근거를 경험적 적용을 넘어서 제시하기 위해.

제안 방법

• MAN은 다중 도메인의 특징 분포 간 f-divergence를 최소화하기 위해 다항분포 판별기를 사용하여 각 도메인의 특징 분포를 구분할 수 없도록 한다.
• 공유 특징 추출기와 도메인별 특징 추출기를 사용하여 도메인 불변 표현과 도메인 전용 지식을 동시에 학습한다.
• 두 가지 변형(MAN-NLL 및 MAN-L2)을 제안하였으며, 각각 Kullback-Leibler 및 L2 산란 측정법을 최소화하는 것으로 입증되었다.
• 적대적 최적화를 통해 엔드 투 엔드로 학습되며, 판별기는 도메인을 구분하도록 학습하고, 특징 추출기는 이를 속이도록 학습된다.
• CNN은 효율성과 성능 면에서 뛰어나 LSTMs보다 빠르고 정확하여 특징 추출기로 사용된다.
• 기존의 이진분포 GAN을 일반화하여, 단지 두 개의 분포가 아닌 다수의 분포에 대해 적대적 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 다항분포 적대망은 다중 도메인의 특징 분포 간 산란을 효과적으로 줄일 수 있는가?
• RQ2 f-산란 최소화를 통한 도메인 불변 특징 학습이 다중 도메인 텍스트 분류 성능 향상에 기여하는가?
• RQ3 MAN은 일부 도메인에서 레이블 데이터가 없는 경우에도 다중 도메인 텍스트 분류에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 MAN은 CMSC 및 ASP-MTL 등의 기존 방법과 비교해 정확도와 도메인 간 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 f-산란 최소화의 맥락에서 다항분포 적대망에 대해 이론적으로 어떤 보장을 제공할 수 있는가?

주요 결과

• MAN은 외부 자원(예: 감성 어휘집)을 사용하지 않아도 다중 도메인 아마존 리뷰 데이터셋에서 최신 기술 수준의 CMSC 방법보다 뚜렷이 뛰어난 성능을 기록한다.
• FDU-MTL 데이터셋에서 MAN은 이전 최고 성능 기록을 낸 ASP-MTL보다 유의미하게 높은 정확도를 달성하여 뛰어난 일반화 능력을 입증한다.
• 레이블이 없는 도메인에서도 MAN은 반감독 설정에서 다중 소스 도메인 적응 기반 방법보다 최신 기술 수준의 성능을 달성한다.
• MAN-NLL이 MAN-L2를 略히 뛰어나며, 이는 원래 GAN 손실(NLL)이 일부 이전 가정과는 달리 본질적으로 劣화되어 있지 않다는 주장을 뒷받침한다.
• MAN에서 사용된 CNN 기반 특징 추출기는 이전 연구에서 사용된 LSTM 기반 대안보다 정확도가 높고, 속도 면에서 10배 이상 빠르다.
• 이론적 분석을 통해 MAN-NLL 및 MAN-L2가 특정 f-산란 측정법의 최소화자임을 확인하였으며, 다항분포 적대망에 대한 첫 번째 공식적 이론적 근거를 제공한다.