[논문 리뷰] Improving Sentence Representations with Multi-view Frameworks

Shuai Tang, Virginia R. de|arXiv (Cornell University)|2018. 09. 27.

Topic Modeling참고 문헌 52인용 수 5

한 줄 요약

이 논문은 순환 신경망(RNN)과 선형 모델을 보완적인 시각으로 조합하여 비지도 문장 표현을 학습하기 위한 두 가지 다중 시각 프레임워크를 제안한다. 프레임워크는 생성적 또는 판별적 목적함수를 사용하며, 시각들의 앙상블은 단일 시각 모델보다 더 나은 전이 가능성과 함께 향상된 표현을 제공한다.

ABSTRACT

Multi-view learning can provide self-supervision when different views are available of the same data. Distributional hypothesis provides another form of useful self-supervision from adjacent sentences which are plentiful in large unlabelled corpora. Motivated by the asymmetry in the two hemispheres of the human brain as well as the observation that different learning architectures tend to emphasise different aspects of sentence meaning, we present two multi-view frameworks for learning sentence representations in an unsupervised fashion. One framework uses a generative objective and the other a discriminative one. In both frameworks, the final representation is an ensemble of two views, in which, one view encodes the input sentence with a Recurrent Neural Network (RNN), and the other view encodes it with a simple linear model. We show that, after learning, the vectors produced by our multi-view frameworks provide improved representations over their single-view learnt counterparts, and the combination of different views gives representational improvement over each view and demonstrates solid transferability on standard downstream tasks.

연구 동기 및 목표

• 단일 시각 문장 표현 모델의 한계를 보완하기 위해 상호 보완적인 학습 시각을 활용하고자 한다.
• 대규모 레이블이 없는 코퍼스에서 다중 시각 데이터와 문장의 분포적 맥락을 활용한 자기지도 학습을 추구하고자 한다.
• 뇌의 반구 특화를 영감으로 삼은 아키텍처의 비대칭성을 통해 문장 표현 품질을 향상시키고자 한다.
• 하류 전이 학습 작업에서 단일 시각 모델보다 뛰어난 성능을 보이는 비지도 프레임워크를 개발하고자 한다.

제안 방법

• 프레임워크는 두 가지 다른 시각을 사용한다: 하나는 입력 문장을 인코딩하기 위해 순환 신경망(RNN)을 사용하고, 다른 하나는 단순한 선형 모델을 사용한다.
• 한 프레임워크는 병합된 시각 표현으로부터 입력 문장을 재구성하는 생성적 목적함수를 사용한다.
• 다른 프레임워크는 진짜 문장 쌍과 손상된 문장 쌍을 구분하는 판별적 목적함수를 사용한다.
• 최종 문장 표현은 두 시각의 앙상블로 형성되며, 그들 간의 보완적 강점을 통합한다.
• 자기지도 학습은 다중 시각 구조와 분포 가설을 모두 활용하며, 대규모 코퍼스 내 인접한 문장들을 통해 유도된다.
• 모델들은 레이블이 없는 데이터가 필요 없이 종단 간(end-to-end)으로 비지도 방식으로 훈련된다.

실험 결과

연구 질문

• RQ1 RNN과 선형 모델을 보완적인 시각으로 조합하면 비지도 환경에서 문장 표현 품질을 향상시킬 수 있는가?
• RQ2 생성적 및 판별적 목적함수를 동시에 사용하면 학습된 표현의 강건성과 표현력이 향상되는가?
• RQ3 두 개의 서로 다른 시각을 앙상블한 결과는 하류 전이 성능 측면에서 단일 시각 모델과 비교해 어떻게 다른가?
• RQ4 다중 시각 프레임워크는 문장의 분포적 맥락을 얼마나 효과적으로 활용하여 표현 학습을 향상시키는가?

주요 결과

• 다중 시각 프레임워크는 표현 품질 측면에서 단일 시각 모델보다 뛰어난 문장 표현을 생성한다.
• 두 시각의 앙상블은 각각의 시각만 사용할 때보다 더 높은 성능을 달성하여 보완적 학습의 이점을 입증한다.
• 제안된 프레임워크는 비지도 사전 훈련 후 표준 하류 NLP 작업에서 강력한 전이 가능성을 보여준다.
• 생성적 및 판별적 목적함수를 동시에 사용함으로써 더 강건하고 정보가 풍부한 문장 표현이 도출된다.