[논문 리뷰] Unsupervised Learning of Sentence Representations Using Sequence Consistency

Siddhartha Brahma|arXiv (Cornell University)|2018. 08. 10.

Topic Modeling참고 문헌 21인용 수 6

한 줄 요약

이 논문은 문장 인코더가 일관된 문장 시퀀스와 변형된 문장 시퀀스를 구별하도록 훈련시켜 무 supervision 방식으로 문장 표현을 학습하는 ConsSent을 제안한다. 여섯 종류의 토큰 수준 변형과 쌍으로 결합하는 제약 조건을 통해 시퀀스 일관성을 강제함으로써, 전이 및 언어적 탐색 작업에서 최신 기술(SOTA) 성능을 달성하며, 무 supervision 및 supervised 기준선을 모두 능가한다. 앙상블 모델은 SentEval 벤치마크에서 평균 점수 84.7을 기록한다.

ABSTRACT

Computing universal distributed representations of sentences is a fundamental task in natural language processing. We propose ConsSent, a simple yet surprisingly powerful unsupervised method to learn such representations by enforcing consistency constraints on sequences of tokens. We consider two classes of such constraints -- sequences that form a sentence and between two sequences that form a sentence when merged. We learn sentence encoders by training them to distinguish between consistent and inconsistent examples, the latter being generated by randomly perturbing consistent examples in six different ways. Extensive evaluation on several transfer learning and linguistic probing tasks shows improved performance over strong unsupervised and supervised baselines, substantially surpassing them in several cases. Our best results are achieved by training sentence encoders in a multitask setting and by an ensemble of encoders trained on the individual tasks.

연구 동기 및 목표

• 외부 레이블이 필요 없이 보편적인 문장 표현을 학습하기 위한 단순하면서도 효과적인 무 supervision 방법을 개발하는 것.
• 토큰 시퀀스와 그 변형에 대한 일관성 제약 조건을 강제하여 문장 표현 품질을 향상시키는 것.
• 다중 작업 학습과 모델 앙상블이 강력한 문장 인코더를 학습하는 데 얼마나 기여하는지 평가하는 것.
• 전이 학습 및 언어적 탐색 작업에서 강력한 무 supervision 및 supervised 기준선과의 성능을 비교 평가하는 것.

제안 방법

• 이 방법은 문장 인코더를 일관된 문장과 여섯 종류의 변형된 문장(삭제, 순서 뒤바꿈, 삽입, 대체, 그리고 이웃하지 않은 두 문장 조합의 두 가지 형태)을 구별하도록 훈련시킨다.
• 일관성은 시퀀스가 유효한 문장이 되면 일관된 것으로 정의되며, 두 시퀀스가 융합되었을 때 유효한 문장이 되면 일관된 것으로 간주된다.
• BillionWord 코퍼스의 문장에 변형을 적용하여 부정적(일관성 없음) 예시를 생성하고, 원본 문장을 긍정적 예시로 사용한다.
• 다양한 문장 인코더를 개별 일관성 작업(예: 시퀀스 일관성, 쌍 일관성)에 대해 훈련한 후, 다중 작업 학습 또는 모델 앙상블을 통해 통합한다.
• 최종 모델는 대비 학습 목표를 사용하는 신경망 인코더(예: BiLSTM)를 사용하며, 긍정 쌍에서는 일치를 최대화하고 부정 쌍에서는 불일치를 최대화한다.
• 성능 평가는 전이 학습 및 언어적 탐색 작업을 포함한 20개의 하류 작업에서 SentEval 벤치마크를 통해 평가된다.

실험 결과

연구 질문

• RQ1 토큰 시퀀스와 그 변형에 대한 일관성 제약 조건을 강제함으로써 무 supervision 문장 표현 학습을 향상시킬 수 있는가?
• RQ2 단일 시퀀스와 쌍 시퀀스의 일관성 작업을 동시에 학습하면 학습된 문장 표현의 품질에 어떤 영향을 미치는가?
• RQ3 다중 작업 학습과 모델 앙상블이 단일 작업 학습에 비해 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 전이 및 언어적 탐색 벤치마크에서 강력한 supervised 및 unsupervised 기준선과 비교해 어떻게 성과를 내는가?

주요 결과

• ConsSent 모델의 앙상블은 SentEval 벤치마크에서 평균 점수 84.7을 기록하여, 최고의 단일 모델(ConsSent-R(2)의 81.9)과 기존의 무 supervision 방법을 크게 능가했다.
• 다중 작업 설정에서 훈련된 ConsSent-MT(3)는 평균 점수 82.4를 기록하여 QuickThoughts보다 약 7점 높았으며, NLI 및 기계 번역 작업에서 supervised 기준선을 초월했다.
• 단일 시퀀스에서 훈련된 모델들(예: ConsSent-D, ConsSent-R)은 쌍 시퀀스에서 훈련된 모델들(예: ConsSent-C, ConsSent-N)보다 일관되게 높은 성능를 보였으며, 이는 비쌍의 일관성에서 더 강한 인도크티브 바이어스가 있음을 시사한다.
• 최고의 개별 모델인 ConsSent-R(2)는 평균 점수 81.9를 기록했고, ConsSent-D(5)는 10개의 언어적 탐색 작업 중 5개에서 최고 성능를 기록했다.
• 언어 모델링 목표 기반 기준선은 평균 점수 60 미만으로 매우 열악했으며, 이는 LM-only 미리 훈련이 문장 표현 학습에 한계가 있음을 시사한다.
• ConsSent-R(2)와 앙상블 모델은 대부분의 작업에서 supervised Seq2Tree 모델보다 높은 평균 점수를 기록하여 제안된 무 supervision 접근의 효과성을 입증했다.