[논문 리뷰] No Training Required: Exploring Random Encoders for Sentence Classification

John Wieting, Douwe Kiela|arXiv (Cornell University)|2019. 01. 29.

Topic Modeling인용 수 75

한 줄 요약

무작위 인코더가 사전 학습된 단어 임베딩으로 구성될 때, 감독 학습된 인코더에 종종 근접하거나 대등한 문장 분류 성능을 달성할 수 있으며, 강력한 베 baseline을 제시하고 평가 관행을 강화한다.

ABSTRACT

We explore various methods for computing sentence representations from pre-trained word embeddings without any training, i.e., using nothing but random parameterizations. Our aim is to put sentence embeddings on more solid footing by 1) looking at how much modern sentence embeddings gain over random methods---as it turns out, surprisingly little; and by 2) providing the field with more appropriate baselines going forward---which are, as it turns out, quite strong. We also make important observations about proper experimental protocol for sentence classification evaluation, together with recommendations for future research.

연구 동기 및 목표

• 무작위 인코더가 인코더를 학습하지 않고도 문장 분류 정확도를 얼마나 끌어올릴 수 있는지 평가한다.
• 무작위 인코더를 감독 학습 및 비감독 학습 문장 인코더와 벤치마킹한다.
• 문장 표현에 대한 강력한 베이스라인 및 실용적 평가 권고안을 제공한다.
• 공정한 비교를 위한 실험 프로토콜 고려사항을 강조한다.

제안 방법

• 세 가지 무작위 인코딩 구조를 평가한다: Bag of Random Embedding Projections (BOREP), Random LSTMs, 및 Echo State Networks (ESN).
• 문장 표현은 엔코더 매개변수를 업데이트하지 않고 사전 학습된 단어 임베딩으로 구성되며, 전이 로지스틱 회귀 분류기만 학습된다.
• 프로젝션과 네트워크는 무작위로 초기화(표준 Glorot 유사 경계 사용)되고 고정 길이의 문장 벡터를 형성하기 위해 평균, 최대치, 합계 등으로 풀링된다.
• 평가의 경우 Downstream 작업군(열 가지 작업) 및 프로빙 작업을 통해 언어적 속성을 분석하는 SentEval를 사용한다.
• 비교는 InferSent 및 SkipThought 베이스라인과 대조되며 차원 수는 4096(BOE의 경우 300)으로 맞춘다.
• 차원 수를 변화시켜 Cover의 정리에 따른 성능 함의를 연구한다.

실험 결과

연구 질문

• RQ1 무작위의 비학습 인코더가 표준 전이 작업에서 학습된 문장 인코더의 성능에 얼마나 근접할 수 있는가?
• RQ2 문장 표현에 대한 사전 학습된 단어 임베딩과 무작위 투영의 가치를 가장 잘 반영하는 베이스라인은 무엇인가?
• RQ3 다운스트림 및 프로빙 작업에서 인코더 차원 수가 성능에 어떤 영향을 미치는가?
• RQ4 문장 표현의 공정한 평가를 위한 실험 프로토콜 고려사항은 무엇인가?

주요 결과

모델	Dim	MR	CR	MPQA	SUBJ	SST2	TREC	SICK-R	SICK-E	MRPC	STSB
BOE	300	77.3(.2)	78.6(.3)	87.6(.1)	91.3(.1)	80.0(.5)	81.5(.8)	80.2(.1)	78.7(.1)	72.9(.3)	70.5(.1)
BOREP	4096	77.4(.4)	79.5(.2)	88.3(.2)	91.9(.2)	81.8(.4)	88.8(.3)	85.5(.1)	82.7(.7)	73.9(.4)	68.5(.6)
RandLSTM	4096	77.2(.3)	78.7(.5)	87.9(.1)	91.9(.2)	81.5(.3)	86.5(1.1)	85.5(.1)	81.8(.5)	74.1(.5)	72.4(.5)
ESN	4096	78.1(.3)	80.0(.6)	88.5(.2)	92.6(.1)	83.0(.5)	87.9(1.0)	86.1(.1)	83.1(.4)	73.4(.4)	74.4(.3)
InferSent-1	4096×6	81.1	86.3	90.2	92.4	84.6	88.2	88.3	86.3	76.2	75.6
InferSent-2	4096×6	79.7	84.2	89.4	92.7	84.3	90.8	88.8	86.3	76.0	78.4
InferSent-3	4096×6	79.7	83.4	88.9	92.6	83.5	90.8	88.5	84.1	76.4	77.3
ST-LN	4096×6	75.2	80.8	86.8	92.7	80.6	88.4	82.9	81.3	71.5	67.0

• 무작위 인코더는 일반적으로 간단한 BOE 베이스라인보다 우수하며, ESN이 무작위 방법들 중에서 가장 우수한 평균 성능을 달성한다.
• InferSent 및 SkipThought에 비해 무작위 인코더도 경쟁력 있는 성능을 달성하며, 무작위 방법 간 평균 이득은 작업당 평균적으로 2포인트 미만으로 보수적이다.
• 차원을 늘리면(예: 4096 이상) 무작위 인코더의 성능이 향상되는 경향이 있으며, 이는 Cover의 정리와 일치한다.
• 프로빙 작업은 무작위 모델이 순서 정보 및 일부 구문/의미 단서를 포착함을 보여주지만, 학습된 인코더가 특정 미묘한 의미 작업에서 우수함을 보여준다.
• 적절한 베이스라인(예: BOREP)과 일관된 평가 설정은 공정한 비교 및 인코더 상승에 대한 신뢰 가능한 주장에 필수적이다.