[논문 리뷰] Multi-view Sentence Representation Learning

Shuai Tang, Virginia R. de|arXiv (Cornell University)|2018. 05. 18.

Topic Modeling참고 문헌 49인용 수 5

한 줄 요약

이 논문은 인접 문장 표현 간의 일치도를 코사인 유사도를 통해 최대화함으로써 RNN 인코더와 선형 단어 벡터 평균 인코더를 함께 훈련하는 다중 시각 문장 표현 학습 프레임워크를 제안한다. 이 방법은 개별 시각의 성능과 앙상블 표현 모두를 향상시키며, 하류 작업에서 기존의 비지도 학습 모델을 능가하고 강력한 전이 가능성도 보여준다.

ABSTRACT

Multi-view learning can provide self-supervision when different views are available of the same data. The distributional hypothesis provides another form of useful self-supervision from adjacent sentences which are plentiful in large unlabelled corpora. Motivated by the asymmetry in the two hemispheres of the human brain as well as the observation that different learning architectures tend to emphasise different aspects of sentence meaning, we create a unified multi-view sentence representation learning framework, in which, one view encodes the input sentence with a Recurrent Neural Network (RNN), and the other view encodes it with a simple linear model, and the training objective is to maximise the agreement specified by the adjacent context information between two views. We show that, after training, the vectors produced from our multi-view training provide improved representations over the single-view training, and the combination of different views gives further representational improvement and demonstrates solid transferability on standard downstream tasks.

연구 동기 및 목표

• 다양한 신경망 아키텍처를 활용하여 문장 표현 학습을 향상시키는 통합된 다중 시각 학습 프레임워크를 개발하는 것.
• 비라벨링된 코퍼스에서 인접 문장의 표현 간 일치도를 최대화하여 분포 가설을 활용하는 것.
• 좌측 대뇌반구의 순차적 처리와 우측 대뇌반구의 병렬 처리를 영감으로 삼은 비대칭 처리가 표현 품질 향상에 기여하는지 탐구하는 것.
• 학습된 표현의 전이 가능성과 일반화 능력을 비지도 및 지도 학습 NLP 작업에서 평가하는 것.
• 다양한 시각에서의 표현을 앙상블하는 것이 단일 시각 학습에 비해 우수한 성능을 내는지 확인하는 것.

제안 방법

• 프레임워크는 양방향 RNN 인코더(f)와 선형 단어 벡터 평균 인코더(g)로 구성된 두 가지 서로 다른 시각을 사용한다.
• 훈련 목표는 두 시각 간 인접 문장 표현 간의 코사인 유사도를 최대화하는 것으로, $ a_{ij} = \cos(\mathbf{z}_i^f, \mathbf{z}_j^g) + \cos(\mathbf{z}_i^g, \mathbf{z}_j^f) $로 정의된다.
• 인접한 문장 쌍이 높은 일치도를 가지도록 유도하는 대비 학습을 사용하여 대규모 비라벨링 코퍼스에서 엔드 투 엔드로 모델을 훈련한다.
• 훈련 안정성을 높이기 위해 코사인 유사도 계산에 사전 처리 및 정규화된 표현 $ \hat{\mathbf{z}} $ 를 사용한다.
• 동일한 입력에 대해 서로 다른 처리 경로만을 사용하여 다중 시각 학습을 수행하되, 복수의 데이터 소스가 필요로 하지 않는다.
• 두 시각의 표현을 앙상블하여 일반화 능력을 향상시키고 문장 의미의 보완적인 측면을 포착한다.

실험 결과

연구 질문

• RQ1 RNN 기반 인코더와 선형 단어 벡터 평균 인코더를 조합하여 다중 시각 학습을 통해 문장 표현 품질을 향상시킬 수 있는가?
• RQ2 서로 다른 두 시각에서 인접 문장의 표현 간 일치도를 최대화하는 것이 단일 시각 학습보다 더 나은 표현을 만들어내는가?
• RQ3 두 가지 다른 시각의 앙상블 표현이 개별 시각에 비해 하류 작업에서의 전이 성능 측면에서 어떻게 비교되는가?
• RQ4 제안된 프레임워크가 표준 평가 벤치마크에서 기존의 비지도 문장 표현 모델을 능가하는가?
• RQ5 뇌의 이배성에서 영감을 얻은 정보 처리 기능의 비대칭성—즉, 순차적(정규화된 RNN)과 병렬(선형) 처리 방식—이 다양한 문장 표현 학습에 유리한가?

주요 결과

• 다중 시각 훈련 프레임워크는 단일 시각 대비 RNN 및 선형 인코더 양쪽 모두의 성능을 크게 향상시킨다.
• 두 시각의 표현을 앙상블하면 개별 시각보다 더 우수한 성능을 달성하여 보완적 학습이 이루어짐을 입증한다.
• 비지도 평가 작업, 예를 들어 문장 유사도 및 텍스트 함의성 분석에서 기존의 비지도 전이 학습 모델을 능가한다.
• 지도 학습 하류 작업에서는 최고의 비지도 모델과 비교해도 성능이 유사하거나 뛰어나, 강력한 전이 가능성임을 시사한다.
• 식 (2)에서 정의된 일치 함수 $ a_{ij} = \cos(\mathbf{z}_i^f, \mathbf{z}_j^g) + \cos(\mathbf{z}_i^g, \mathbf{z}_j^f) $ 는 자기 일치를 유도하는 대안보다 성능이 뛰어나며, 훈련 중 한 시각이 지배하는 것을 방지한다.
• 실험 결과는 순차적(정규화된 RNN)과 병렬(선형) 처리 방식이 rich한 문장 표현 학습에서 상호 보완적임을 지지한다.