[논문 리뷰] Word Embedding Attention Network: Generating Words by Querying Distributed Word Representations for Paraphrase Generation

Shuming Ma, Xu Sun외 4명|arXiv (Cornell University)|2018. 03. 05.

Topic Modeling참고 문헌 22인용 수 7

한 줄 요약

이 논문은 의미 기반 어휘 생성을 통해 의미 이해를 향상시키기 위해 분산 어휘 표현을 쿼리하는 방식으로 단어를 생성하는 새로운 시퀀스-투-시퀀스 모델인 워드 임베딩 어텐션 네트워크(WEAN)를 제안한다. 패턴 기억을 의미 기반의 어휘 생성으로 대체함으로써, WEAN은 영어 데이터셋에서 베이스라인 모델보다 각각 6.3 BLEU와 5.5 BLEU 향상률을 기록하며 텍스트 단순화 및 개괄 요약 작업에서 최신 기술 수준(SOTA) 성능을 달성하였고, 중국어 데이터셋에서는 5.7 ROUGE-2 F1 점수 향상을 기록하였다.

ABSTRACT

Most recent approaches use the sequence-to-sequence model for paraphrase generation. The existing sequence-to-sequence model tends to memorize the words and the patterns in the training dataset instead of learning the meaning of the words. Therefore, the generated sentences are often grammatically correct but semantically improper. In this work, we introduce a novel model based on the encoder-decoder framework, called Word Embedding Attention Network (WEAN). Our proposed model generates the words by querying distributed word representations (i.e. neural word embeddings), hoping to capturing the meaning of the according words. Following previous work, we evaluate our model on two paraphrase-oriented tasks, namely text simplification and short text abstractive summarization. Experimental results show that our model outperforms the sequence-to-sequence baseline by the BLEU score of 6.3 and 5.5 on two English text simplification datasets, and the ROUGE-2 F1 score of 5.7 on a Chinese summarization dataset. Moreover, our model achieves state-of-the-art performances on these three benchmark datasets.

연구 동기 및 목표

• 시퀀스-투-시퀀스 모델이 재구성 생성에서 흔히 발생하는 학습 패턴 기억의 한계를 해결하기 위해.
• 분산 어휘 표현에 기반한 어휘 생성을 통해 생성된 재구성문의 의미 정확도를 향상시키기 위해.
• 학습 데이터의 표면적 패턴에 의존하기보다 의미를 포착하는 모델을 개발하기 위해.
• 텍스트 단순화 및 개괄 요약 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• WEAN은 어휘 생성을 자동회귀적 디코딩 외에 분산 어휘 표현을 쿼리하는 방식으로 이끄는 인코더-디코더 프레임워크를 사용한다.
• 모델은 디코딩 중에 어휘 표현에 주의를 기울이는 어텐션 메커니즘을 사용하여, 맥락 인식형 의미 기반의 어휘 선택을 가능하게 한다.
• 어휘 생성은 디코더의 은닉 상태와 사전에 학습된 어휘 표현 간의 유사도 점수를 계산하여 수행된다.
• 어텐션 메커니즘은 관련된 어휘 표현을 동적으로 검색하여 생성 문장의 의미 일관성을 증진시킨다.
• 단어 예측 최적화를 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 일반화 능력과 의미 충실도를 평가하기 위해 영어 텍스트 단순화 및 중국어 개괄 요약 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 패턴 기억 기반의 시퀀스-투-시퀀스 모델에 비해 분산 어휘 표현을 기반으로 한 어휘 생성이 재구성 생성의 의미 정확도 향상에 기여하는가?
• RQ2 디코딩 중 어휘 표현을 쿼리하는 방식이 생성된 재구성문의 유창성과 의미 유지에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 텍스트 단순화 및 개괄 요약과 같은 다양한 재구성 작업에 일반화되는가?
• RQ4 BLEU 및 ROUGE 점수 측면에서 WEAN은 기준 시퀀스-투-시퀀스 모델에 비해 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• WEAN은 두 개의 영어 텍스트 단순화 데이터셋에서 시퀀스-투-시퀀스 베이스라인 모델보다 6.3 BLEU 포인트 향상된 성능을 기록하였다.
• 두 번째 영어 텍스트 단순화 데이터셋에서는 BLEU 점수를 5.5 포인트 향상시켜 일관된 성과 향상을 입증하였다.
• 중국어 개괄 요약 데이터셋에서는 베이스라인 모델 대비 5.7 ROUGE-2 F1 점수 향상을 기록하였다.
• 평가한 세 개의 벤치마크 데이터셋(영어 텍스트 단순화 2개, 중국어 요약 1개)에서 모두 최신 기술 수준의 성능을 확립하였다.
• 결과는 어휘 표현 쿼리 방식을 통한 의미 기반 어휘 생성이 더 의미적으로 정확한 재구성문을 생성함을 시사한다.
• 모델는 기억된 패턴에 대한 의존도를 줄여 더 맥락에 적합하고 의미 있는 재구성문을 생성한다.