[논문 리뷰] Dictionary-Guided Editing Networks for Paraphrase Generation

Shaohan Huang, Yu Wu외 2명|arXiv (Cornell University)|2018. 06. 21.

Topic Modeling참고 문헌 2인용 수 8

한 줄 요약

이 논문은 원본 문장의 단어나 어구를 선택적으로 교체하여 번역문을 생성하는 사전 지도 편집 네트워크를 제안한다. 이는 사전에 구축된 번역 사전(PPDB)과 소프트 어텐션 메커니즘을 활용한 시퀀스 투 시퀀스 프레임워크 내에서 이루어진다. 모델은 MSCOCO 및 Quora 데이터셋에서 기존의 시퀀스 투 시퀀스 기반 모델을 능가하며, BLEU 및 METEOR 점수에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

An intuitive way for a human to write paraphrase sentences is to replace words or phrases in the original sentence with their corresponding synonyms and make necessary changes to ensure the new sentences are fluent and grammatically correct. We propose a novel approach to modeling the process with dictionary-guided editing networks which effectively conduct rewriting on the source sentence to generate paraphrase sentences. It jointly learns the selection of the appropriate word level and phrase level paraphrase pairs in the context of the original sentence from an off-the-shelf dictionary as well as the generation of fluent natural language sentences. Specifically, the system retrieves a set of word level and phrase level araphrased pairs derived from the Paraphrase Database (PPDB) for the original sentence, which is used to guide the decision of which the words might be deleted or inserted with the soft attention mechanism under the sequence-to-sequence framework. We conduct experiments on two benchmark datasets for paraphrase generation, namely the MSCOCO and Quora dataset. The evaluation results demonstrate that our dictionary-guided editing networks outperforms the baseline methods.

연구 동기 및 목표

• 원본 문장을 동의어나 어구 교체를 통해 재작성하는 방식으로 인간의 편집 행동을 모방하는 신경 번역 생성 모델을 개발하기 위해.
• 사전에 비치된 사전(PPDB)에서 맥락적으로 관련된 단어 및 어구 번역 쌍의 선택과 함께 유창하고 문법적으로 올바른 번역문 생성을 동시에 학습하기 위해.
• 기존의 시퀀스 투 시퀀스 모델이 사전에서 추출한 명시적 편집 신호를 통합하여 원본 문장을 직접 생성하는 방식을 개선하기 위해.
• 사전 지도 편집이 더 높은 품질의 번역문을 생성함으로써 유창성과 의미 유지 능력을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 모델은 각 입력 문장에 대해 번역 사전(PPDB)에서 단어 및 어구 번역 쌍을 검색한다.
• 디코딩 중에 사전의 관련 번역 쌍에 동적으로 어텐션을 기울이는 소프트 어텐션 메커니즘을 사용하여 삭제 및 삽입 결정을 안내한다.
• 디코더 출력이 사전의 특정 번역 쌍과 정렬되도록 하는 편집 어텐션 메커니즘을 시퀀스 투 시퀀스 프레임워크에 통합한다.
• 차별 가능한 어텐션 메커니즘을 사용하여 번역 쌍 선택과 유창한 문장 생성을 동시에 최적화한다.
• 어텐션 메커니즘은 삭제 및 삽입 작업에 대해 별도의 점수를 계산하며, 열 기반 정규화를 통해 각 사전 쌍의 영향력을 균형 잡는다.
• 시퀀스 생성을 위한 교차 엔트로피 손실을 사용하여 MSCOCO 및 Quora 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 기존의 번역 사전을 활용하여 원본 문장을 편집하는 방식으로 신경 모델이 효과적으로 번역문을 생성할 수 있는가?
• RQ2 디코딩 중에 맥락적으로 관련된 단어 및 어구 교체를 사전 지도 어텐션 메커니즘이 얼마나 잘 선택할 수 있는가?
• RQ3 어휘 자원에서 유도된 명시적 편집 신호를 통합할 경우, 엔드 투 엔드 생성 방식과 비교해 유창성과 의미 정확도가 향상되는가?
• RQ4 기본 시퀀스 투 시퀀스 기반 모델 대비 벤치마크 번역 생성 데이터셋에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• MSCOCO 데이터셋에서 제안된 방법은 BLEU 점수 42.6과 METEOR 점수 31.3을 기록하여 VAE-SVG-eq 및 Residual LSTM을 포함한 모든 베이스라인 모델을 능가했다.
• Quora 데이터셋에서 모델은 베이머 사이즈 10일 때 BLEU 점수 28.4와 METEOR 점수 30.6을 기록했으며, 다음으로 우수한 베이스라인인 VAE-SVG-eq(베이머 사이즈 10일 때 BLEU 37.1, METEOR 32.0)를 크게 앞서며 성능을 뛰어넘었다.
• 어텐션 메커니즘의 시각화 결과, 모델이 생성된 단어가 관련 번역 쌍(예: 'television'이 (a tv, a television) 쌍과 정렬됨)과 잘 연결됨을 확인할 수 있었다.
• 모델은 'make money'를 'earn money'로 교체하는 식으로 특정 단어나 어구를 교체함으로써 문법적으로 올바르고 의미적으로 동일한 유창한 번역문을 성공적으로 생성했다.
• 제거 실험(ablation study) 결과, 사전 지도 어텐션의 통합이 표준 시퀀스 투 시퀀스 모델 대비 번역 품질 향상에 크게 기여하는 것으로 나타났다.