[논문 리뷰] Neural Structural Correspondence Learning for Domain Adaptation

Yftah Ziser, Roi Reichart|arXiv (Cornell University)|2016. 10. 05.

Topic Modeling참고 문헌 30인용 수 8

한 줄 요약

이 논문은 비피봇 특징의 저차원 표현을 학습하여 피봇 특징—다양한 도메인 간에 공유되는 특징—을 재구성함으로써 교차 도메인 감성 분류를 가능하게 하는, 세 층으로 구성된 신경망인 신경 구조적 대응 학습(Neural SCL)을 제안한다. 사전 훈련된 단어 임베딩을 고정된 복원 행렬에 통합함으로써 모델은 일반화 능력을 향상시키고 16개의 도메인 쌍에서 최신 기술 수준(SOTA)의 성능을 달성하며, SCL, MSDA 및 MSDA-DAN 기준선을 능가한다.

ABSTRACT

Domain adaptation, adapting models from domains rich in labeled training data to domains poor in such data, is a fundamental NLP challenge. We introduce a neural network model that marries together ideas from two prominent strands of research on domain adaptation through representation learning: structural correspondence learning (SCL, (Blitzer et al., 2006)) and autoencoder neural networks. Particularly, our model is a three-layer neural network that learns to encode the nonpivot features of an input example into a low-dimensional representation, so that the existence of pivot features (features that are prominent in both domains and convey useful information for the NLP task) in the example can be decoded from that representation. The low-dimensional representation is then employed in a learning algorithm for the task. Moreover, we show how to inject pre-trained word embeddings into our model in order to improve generalization across examples with similar pivot features. On the task of cross-domain product sentiment classification (Blitzer et al., 2007), consisting of 12 domain pairs, our model outperforms both the SCL and the marginalized stacked denoising autoencoder (MSDA, (Chen et al., 2012)) methods by 3.77% and 2.17% respectively, on average across domain pairs.

연구 동기 및 목표

• 목표 도메인에서 레이블이 부족한 상황에서 자연어 처리(NLP) 분야의 비지도 도메인 적응 문제를 해결하기 위해.
• 기존의 구조적 대응 학습(SCL)과 현대적인 신경 오토에인코드 기반 방법의 장점을 융합하여 전통적 SCL과 현대적 신경망 기반 방법 간 격차를 메우기 위해.
• 피봇 특징 재구성에 의해 분리된, 도메인에 관계없이 동일한 표현을 학습함으로써 교차 도메인 감성 분류를 향상시키기 위해.
• 신경망의 복원 계층에 사전 훈련된 단어 임베딩을 통합함으로써 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 모델은 피드포워드 신경망을 사용하여 입력의 비피봇 특징을 저차원의 은닉 표현으로 인코딩한다.
• 기본 오토에인코드와 달리, 모델은 은닉 표현을 복원하여 피봇 특징의 존재 여부를 예측한다.
• 더 고도화된 두 번째 모델은 학습된 복원 행렬 대신 피봇 특징을 위한 고정된 사전 훈련된 단어 임베딩 행렬을 사용한다.
• 피봇 특징의 존재 확률은 은닉 표현과 그 임베딩 간의 내적곱에 대한 비선형 함수로 모델링된다.
• 모델은 소스 및 타겟 도메인의 레이블이 없는 데이터를 사용하여 검증 오차에 대한 조기 정지 기법을 적용한 확률적 경사 하강법으로 엔드 투 엔드로 훈련된다.
• 피봇 수와 은닉 차원 수와 같은 하이퍼파라미터는 레이블이 있는 개발 세트를 사용하여 각 도메인 쌍에 대해 별도로 튜닝된다.

실험 결과

연구 질문

• RQ1 비피봇 특징에서 피봇 특징을 재구성함으로써 신경망 모델이 도메인 간에 공유 표현을 효과적으로 학습할 수 있는가?
• RQ2 복원 계층에 사전 훈련된 단어 임베딩을 통합하면 교차 도메인 감성 분류에서 일반화 능력이 향상되는가?
• RQ3 SCL, MSDA 및 MSDA-DAN과 같은 강력한 기준선과 비교할 때 Neural SCL은 교차 도메인 감성 분류에서 어떤 성능을 보이는가?
• RQ4 도메인 불변 표현을 학습할 때, 피봇 특징 임베딩 간의 의미적 유사성은 모델에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 Neural SCL 모델은 교차 도메인 감성 분류에서 16개의 도메인 쌍에 걸쳐 강력한 기준선인 SCL, MSDA 및 MSDA-DAN을 상당히 능가하는 성능 향상을 달성한다.
• 고정된 사전 훈련된 임베딩을 사용한 모델(AE-SCL-SR)이 엔드 투 엔드로 훈련된 버전(AE-SCL)보다 성능이 뛰어나, 사전 훈련된 임베딩이 일반화 능력을 향상시킨다는 것을 시사한다.
• 피봇 특징에 word2vec 임베딩을 사용함으로써, 표면 형태가 다를지라도 의미적으로 유사한 피봇 특징을 가진 문서들에 대해 유사한 은닉 표현을 학습할 수 있게 되었다.
• 모델의 성능은 다양한 도메인 쌍에서 높은 안정성을 보이며, 불균형 및 균형 잡힌 데이터 설정 모두에서 일관된 성능 향상을 보였다.
• 레이블이 있는 개발 데이터를 사용한 하이퍼파라미터 튜닝은 모델 성능을 크게 향상시켰으며, 최적의 설정은 도메인 쌍에 따라 달라졌다.
• 표현 학습에 레이블이 없는 데이터만 사용함에도 불구하고 모델은 최신 기술 수준의 성능을 달성하여, 신경 기반 프레임워크 내에서 피봇 기반 대응 학습의 효과성을 입증했다.