[논문 리뷰] Learning to Compute Word Embeddings On the Fly

Dzmitry Bahdanau, Tom Bosc외 4명|arXiv (Cornell University)|2017. 06. 01.

Topic Modeling참고 문헌 23인용 수 67

한 줄 요약

이 논문은 보조 정의(예: 사전 정의, 철자 표기)에서 예측된 즉시 임베딩을 도입하여 희귀어를 다루고, 작업 성능을 향상시키며 사전 학습 임베딩과의 격차를 좁힌다.

ABSTRACT

Words in natural language follow a Zipfian distribution whereby some words are frequent but most are rare. Learning representations for words in the "long tail" of this distribution requires enormous amounts of data. Representations of rare words trained directly on end tasks are usually poor, requiring us to pre-train embeddings on external data, or treat all rare words as out-of-vocabulary words with a unique representation. We provide a method for predicting embeddings of rare words on the fly from small amounts of auxiliary data with a network trained end-to-end for the downstream task. We show that this improves results against baselines where embeddings are trained on the end task for reading comprehension, recognizing textual entailment and language modeling.

연구 동기 및 목표

• Zipf 분포의 단어로 인해 발생하는 희귀어 문제와 고정 어휘의 한계에 동기 부여.
• 보유한 임베딩의 전체 세트를 유지하는 대신 보조 데이터로부터 단어 임베딩을 계산하는 방법 제안.
• 읽기 이해, 텍스트적 함의, 언어 모델링 과제에서 이 접근법 시연.
• 보조 데이터 접근법이 엔드-태스크 학습 임베딩보다 개선되고 사전 학습 벡터와의 격차를 일부 줄이는지 보여주기.

제안 방법

• 보조 데이터 d(w)(정의나 철자 등)로부터 w-특정 임베딩 e_d(w)를 계산하는 정의 독자(reader) 정의.
• e_d(w)와 어휘 내 임베딩 e(w)를 합쳐 e_c(w)=e(w)+We_d(w) (또는 유사한 변형) 형태로 결합.
• 여러 정의를 병렬로 처리하고 엔드-투-엔드 학습을 허용하여 작업 특성 임베딩과의 의미적 정렬이 보존되도록 함.
• 세 가지 정의 인코더(mean pooling, 선형 변환이 있는 mean pooling, 정의에 대한 LSTM reader)와 철자에 대한 LSTM reader를 실험.
• GloVe 사전학습 여부를 두고 SQuAD(읽기 이해), SNLI/MultiNLI(텍스트적 함의), OBW(언어 모델링)에서 평가.

실험 결과

연구 질문

• RQ1 보조 데이터로 계산된 즉시 임베딩이 작업 만으로 학습된 임베딩에 비해 NLP 작업의 성능을 향상시킬 수 있는가?
• RQ2 사전 기반 정의와 철자 기반 보조 데이터가 희귀어 표현에 어떻게 기여하는가?
• RQ3 이러한 보조 데이터가 GloVe와 같은 사전학습 임베딩까지의 격차를 다양한 작업에서 얼마나 좁힐 수 있는가?
• RQ4 SQuAD, SNLI/MultiNLI, 언어 모델링과 같은 데이터 규모가 다른 작업에서의 실용적 효과는 무엇인가?

주요 결과

model	EM dev	EM test
baseline (B)	52.58	-
dict, MP, sum, no back-prop (D1)	56.27	-
dict, MP, sum (D2)	57.03	-
dict, MP, transform and sum (D3)	58.9	-
dict, LSTM (D4)	58.78	-
spelling (S)	61.94	62.9
spelling+lemmas (SL)	62.4	62.6
spelling+dict (SD)	63.06	64.08
GloVe (G)	64.19	-

• 보조 데이터가 모든 실험에서 작업 목표만으로 학습된 baselines보다 성능을 향상시켰다.
• 사전 기반 정의(단독 또는 철자 포함)가 SQuAD EM을 향상시키며 SD가 S를 능가하고 개발 테스트에서 GloVe에 접근한다.
• 철자 정보는 SQuAD에 특히 유익하며 사전 기반 정의와 철자 결합(SD)이 읽기 이해에서 전반적으로 최상의 결과를 낳는다.
• 사전 정의가 SNLI 및 MultiNLI에서 학습 시작에서 사전학습된 GloVe 임베딩과의 격차의 대략 40%를 다리하며 두 데이터셋 모두에서 일관된 이득을 준다.
• 언어 모델링에서 철자 및 사전 정보를 추가하면 퍼플렉시티가 감소하고 GloVe와의 격차가 좁혀지며 전체 학습 세트가 사용될 때 특히 그렇다.