[논문 리뷰] Query and Output: Generating Words by Querying Distributed Word Representations for Paraphrase Generation

Shuming Ma, Xu Sun외 4명|arXiv (Cornell University)|2018. 03. 05.

Natural Language Processing Techniques인용 수 16

한 줄 요약

이 논문은 문장 간의 의미 정확도를 향상시키기 위해 주어진 단어 표현을 이용해 어휘를 생성하는 어텐션 메커니즘을 사용하는 새로운 순서-순서 모델인 워드 임베딩 어텐션 네트워크(WEAN)를 제안한다. WEAN은 텍스트 단순화 및 개략 요약 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 영어 데이터셋에서는 베이스라인 대비 6.3 BLEU 포인트, 5.5 BLEU 포인트 향상되었고, 중국어 데이터셋에서는 5.7 ROUGE-2 F1 점수 향상을 기록하였다.

ABSTRACT

Most recent approaches use the sequence-to-sequence model for paraphrase generation. The existing sequence-to-sequence model tends to memorize the words and the patterns in the training dataset instead of learning the meaning of the words. Therefore, the generated sentences are often grammatically correct but semantically improper. In this work, we introduce a novel model based on the encoder-decoder framework, called Word Embedding Attention Network (WEAN). Our proposed model generates the words by querying distributed word representations (i.e. neural word embeddings), hoping to capturing the meaning of the according words. Following previous work, we evaluate our model on two paraphrase-oriented tasks, namely text simplification and short text abstractive summarization. Experimental results show that our model outperforms the sequence-to-sequence baseline by the BLEU score of 6.3 and 5.5 on two English text simplification datasets, and the ROUGE-2 F1 score of 5.7 on a Chinese summarization dataset. Moreover, our model achieves state-of-the-art performances on these three benchmark datasets.

연구 동기 및 목표

• 표준 순서-순서 모델이 단어 의미를 학습하기보다는 훈련 패턴을 암기하는 데에 한계가 있음을 해결한다.
• 어휘 생성기의 파라미터 수를 줄여 훈련 효율성과 수렴 속도를 향상시킨다.
• 분산된 단어 표현에 기반한 어휘 생성을 통해 어색한 표현 생성의 의미 충실도를 향상시킨다.
• 텍스트 단순화 및 개략 요약 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.
• 어휘 표현에 대한 검색 기반 매칭을 통한 어텐션 기반 어휘 생성의 효과성을 입증한다.

제안 방법

• 표준 선형-소프트맥스 어휘 생성기를 어侁션 기반 메커니즘으로 대체하여, RNN 히든 상태를 쿼리로 간주한다.
• 어휘 표현을 키(key)와 밸류(value)로 사용하며, 어텐션 메커니즘이 쿼리에 기반해 가장 관련성이 높은 어휘 표현을 검색한다.
• 어휘 표현에 대한 어텐션 점수 중 가장 높은 값을 가진 후보 어휘를 선택하여 출력 어휘를 생성한다.
• 어휘 표현을 인코더 입력, 디코더 입력, 출력층에서의 쿼리 벡터로부터 세 가지 소스에서 업데이트한다.
• 엔드 투 엔드 훈련을 위해 어텐션 기반 어휘 생성기를 인코더-디코더 프레임워크에 통합한다.
• 사전에 학습된 어휘 표현의 의미적 구조를 활용하여 생성 과정을 이끌어내어, 암기보다 의미 있는 어휘 선택을 촉진한다.

실험 결과

연구 질문

• RQ1 표준 소프트맥스 어휘 생성기를 어侁션 기반 검색 메커니즘으로 대체하면 어색한 표현 생성의 의미 정확도가 향상되는가?
• RQ2 분산된 어휘 표현을 쿼리하면 일반화 능력이 향상되고 훈련 패턴 암기가 감소하는가?
• RQ3 제안된 방법이 성능을 유지하거나 향상시키면서 어휘 생성기의 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 어侁션 기반 어휘 생성 메커니즘은 텍스트 단순화 및 개략 요약 작업에서 최신 기술(SOTA) 성능을 달성할 수 있는가?
• RQ5 유창하고 단순화된 어색한 표현을 생성하면서 의미를 어떻게 유지하는가?

주요 결과

• 영어 위키피디아 텍스트 단순화(EW-SEW) 데이터셋에서 WEAN은 표준 순서-순서 베이스라인 대비 6.3 BLEU 포인트 향상되었다.
• 영어 텍스트 단순화 데이터셋에서 WEAN은 베이스라인 대비 5.5 BLEU 포인트 향상되었다.
• 중국어 개략 요약 데이터셋에서 WEAN은 베이스라인 대비 5.7 ROUGE-2 F1 점수 향상되었다.
• 평가된 세 가지 벤치마크 데이터셋(영어 텍스트 단순화 두 개, 중국어 요약 하나)에서 모두 최신 기술(SOTA) 성능을 달성하였다.
• 사례 연구 결과, WEAN은 자연스럽고 의미적으로 정확하며 의미를 유지하는 어색한 표현을 생성하는 반면, 베이스라인은 종종 불완전하거나 비논리적이거나 의미적으로 빗나가는 출력을 생성하였다.
• 어侁션 기반 어휘 생성기는 표준 선형-소프트맥스 레이어에 비해 파라미터 수를 크게 줄여 수렴 속도를 향상시키고 메모리 소비량을 낮추었다.