[논문 리뷰] Pointing the Unknown Words

Çaǧlar Gülçehre, Sungjin Ahn외 3명|arXiv (Cornell University)|2016. 03. 26.

Topic Modeling인용 수 64

한 줄 요약

이 논문은 신경망 언어 모델이 사전 정의된 짧은 목록에서 단어를 생성하는 것과 입력 컨텍스트에서 직접 단어를 복사하는 것을 동적으로 선택할 수 있도록 하는 새로운 어텐션 기반 메커니즘인 Pointer Softmax(PS)를 제안한다. 학습 가능한 스위칭 네트워크를 사용해 언제 포인터를 사용할지 결정함으로써, 신경 기계 번역 및 텍스트 요약에서 희귀어 및 미등장어 처리 성능을 향상시켜, Europarl 영-프랑스 번역에서 BLEU 점수 3.6점 향상과 더불어 수렴 속도 향상을 달성한다.

ABSTRACT

The problem of rare and unknown words is an important issue that can potentially influence the performance of many NLP systems, including both the traditional count-based and the deep learning models. We propose a novel way to deal with the rare and unseen words for the neural network models using attention. Our model uses two softmax layers in order to predict the next word in conditional language models: one predicts the location of a word in the source sentence, and the other predicts a word in the shortlist vocabulary. At each time-step, the decision of which softmax layer to use choose adaptively made by an MLP which is conditioned on the context.~We motivate our work from a psychological evidence that humans naturally have a tendency to point towards objects in the context or the environment when the name of an object is not known.~We observe improvements on two tasks, neural machine translation on the Europarl English to French parallel corpora and text summarization on the Gigaword dataset using our proposed model.

연구 동기 및 목표

• 희귀어 및 미등장어 문제를 해결함으로써, 저빈도어 및 미리보지 않은 어휘에서의 성능 제약을 줄이기 위해.
• 필요에 따라 입력 컨텍스트에서 직접 단어를 복사할 수 있도록 함으로써, 시퀀스-투-시퀀스 작업에서 일반화 및 강인성을 향상시키기 위해.
• 학습 가능한 스위칭 메커니즘을 사용해 짧은 목록 기반 생성과 컨텍스트 기반 복사의 병합 학습 프레임워크를 개발하기 위해.
• 저자원 및 OOV(Out-of-Vocabulary) 상황에서 모델 수렴 속도를 가속화하고 테스트 성능을 향상시키기 위해.

제안 방법

• 모델은 두 개의 병렬 소프트맥스 레이어를 사용한다: 하나는 사전 정의된 짧은 목록에서 단어를 예측하기 위한 것이고, 다른 하나는 입력 컨텍스트의 단어를 참조하고 복사하기 위한 것이다.
• 각 타임스텝에서 짧은 목록을 사용할지 컨텍스트 포인터를 사용할지 결정하는 데터이블 스위칭 네트워크(잔차 연결과 노이즈 탄젠트 활성화를 갖는 두 층의 MLP)가 사용된다.
• 스위칭 네트워크는 현재의 은닉 상태와 컨텍스트 벡터에 조건을 받으며, 생성과 복사 간의 적응적 선택을 가능하게 한다.
• 어텐션 메커니즘은 입력 단어에 대해 컨텍스트 인식 확률을 계산하여, 모델이 소스 시퀀스의 관련 단어를 '지목'할 수 있도록 한다.
• 모델 전체는 예측 손실과 복사 손실을 모두 포함하는 단일 목적 함수를 사용해 엔드 투 엔드로 훈련된다.
• 기울기 노름이 1을 초과할 경우 기울기 클리핑을 적용하여 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 스위칭 메커니즘이 시퀀스-투-시퀀스 모델에서 희귀어 및 미등장어 처리에 도움이 될 수 있는가?
• RQ2 짧은 목록 기반 생성과 컨텍스트 기반 복사의 조합이 신경 기계 번역 및 텍스트 요약에서 더 나은 성능을 이끌 수 있는가?
• RQ3 명시적 지도 학습 없이도 모델이 언제, 어디서 복사할지 배울 수 있는가?
• RQ4 기본 소프트맥스와 짧은 목록을 사용하는 것에 비해 포인터 소프트맥스는 훈련 수렴 속도를 가속화하는가?

주요 결과

• Pointer Softmax 모델은 Europarl 영-프랑스 번역 작업에서 23.76 BLEU 점수를 기록하여, 표준 소프트맥스를 사용하는 기준 모델 대비 3.6점 향상되었다.
• Pointer Softmax를 사용한 모델는 20만 번째 업데이트 후 검증 NLL(63.91)을 기록하며 더 빠른 수렴을 보였고, 기준 모델은 40만 번째 업데이트 후에 이 수준에 도달했다.
• Gigaword 요약 데이터셋에서 Pointer Softmax는 대규모 어휘 기법과 조합되어도 성능 향상을 보였으며, OOV 단어에 대한 강인함을 입증했다.
• 스위칭 네트워크에 두 층의 MLP와 노이즈 탄젠트 활성화, 잔차 연결을 사용한 결과, ReLU 기반 대비 약 1점의 BLEU 점수 향상을 달성했다.
• 모델은 소스 문장의 명사어 및 희귀어를 효과적으로 지목하여, 짧은 목록에 포함되지 않은 단어라도 정확한 복사를 수행할 수 있도록 학습했다.