[논문 리뷰] Discourse-Based Objectives for Fast Unsupervised Sentence Representation Learning

Yacine Jernite, Samuel R. Bowman외 1명|arXiv (Cornell University)|2017. 04. 23.

Topic Modeling참고 문헌 27인용 수 111

한 줄 요약

논문은 비표지 텍스트에서 문장 인코더를 사전 학습하기 위한 세 가지 빠르고 순수하게 판별적(discriminative) 담론 기반 목표를 도입하여, 훈련 시간을 크게 줄이면서도 경쟁력 있는 외부 성능을 달성한다.

ABSTRACT

This work presents a novel objective function for the unsupervised training of neural network sentence encoders. It exploits signals from paragraph-level discourse coherence to train these models to understand text. Our objective is purely discriminative, allowing us to train models many times faster than was possible under prior methods, and it yields models which perform well in extrinsic evaluations.

연구 동기 및 목표

• 담론 일관성 신호를 이용해 문장 인코더의 빠른 비지도 사전 학습을 동기화하고 가능하게 한다.
• 문단 수준의 담론 관계를 활용하는 세 가지 판별적 목표를 제안한다.
• 다중 작업 학습이 표현 품질을 향상시킨다는 것을 보여준다.
• 표준 텍스트 분류 벤치마크에서 학습된 표현의 성능을 평가하여 경쟁력 있는 성능과 속도를 입증한다.

제안 방법

• 세 가지 빠른 일관성 기반 사전 학습 작업 정의: 인접 문장의 이진 순서 결정, 문단에서의 다음 문장 선택, 초반 결합사에 기반한 접속사 예측.
• 세 가지 이진 선형 분류기를 사용하여 공유 문장 인코더(CBOW, GRU, BiGRU with FastText 임베딩)를 함께 학습한다.
• BiGRU에 대해 8시간 창에서 작업 간 최적화를 위해 AdaGrad와 샘플링을 사용한다.
• 단일 작업 대 다중 작업 학습을 비교하고 내재 및 외재 성능을 평가한다.
• 학습 표현 공간에서 질적 최근접 이웃 분석을 제공한다.

실험 결과

연구 질문

• RQ1 빠른 판별적 목표가 비지도 문장 표현 학습을 위한 담론 일관성 신호를 포착할 수 있는가?
• RQ2 세 가지 담론 기반 목표의 다중 작업 학습이 단일 작업 설정보다 인코더 품질을 개선하는가?
• RQ3 다양한 인코더 아키텍처(CBOW, GRU, BiGRU)가 속도와 성능 면에서 이 목표들 하에서 어떻게 비교되는가?
• RQ4 학습된 표현이 표준 문장 분류 작업에서 어떤 외재 성능을 달성하는가?
• RQ5 DiscSent 표현이 속도와 정확도 측면에서 기존의 비지도 사전 학습 방법(Skip Thought, SDAE)과 어떻게 비교되는가?

주요 결과

모델	시간	MSRP	TREC	SUBJ
FastSent 1	≈13h	72.2	76.8	88.7
FastSent+AE 1	71.2	80.4	88.8
SDAE 1	192h	76.4	77.6	89.3
SDAE+embed 1	73.7	78.4	90.8
SkipT biGRU 2	336h	71.2	89.4	92.5
SkipT GRU 2	73.0	91.4	92.1
SkipT+feats 2	75.8	92.2	93.6
Ordering model 3	48h	72.3	–	–
Ordering+embed 3	74.0	–	–	–
+embed+SkipT 3	74.9	–	–	–
DiscSent biGRU	8h	71.6	81.0	88.6
DiscSent+unigram	72.5	87.9	92.7
DiscSent+embed	75.0	87.2	93.0

• 세 가지 담론 기반 목표를 함께 학습하면 내재적 성능이 단일 작업 학습보다 더 좋다.
• BiGRU 모델은 내재적 작업에서 CBOW 및 GRU보다 우수하며 DiscSent는 외재 작업에서도 경쟁적인 결과를 달성한다.
• DiscSent 기반 표현은 MSRP, TREC, SUBJ에서 여러 베이스라인과 일치하거나 능가하는 동시에 훨씬 적은 학습 시간을 요구한다.
• DiscSent 변형인 unigram 또는 임베딩 증강은 하류 작업 성능을 더욱 개선한다.
• 이 접근 방식은 며칠이나 주가 아닌 시간 단위로 학습되어 확장 가능한 비지도 사전 학습을 가능하게 한다.