[논문 리뷰] A Constrained Sequence-to-Sequence Neural Model for Sentence Simplification

Yaoyuan Zhang, Zhenxu Ye외 3명|arXiv (Cornell University)|2017. 04. 07.

Text Readability and Simplification참고 문헌 13인용 수 17

한 줄 요약

이 논문은 어휘 수준의 단순화와 제약 조건이 부여된 문장 수준의 생성을 결합하여 유창하고 문법적으로 올바르며 진정으로 단순화된 문장을 생성하는 이단계 신경망 시퀀스-투-시퀀스 모델을 제안한다. 디코딩 중 특정 단순화된 단어에 제약 조건을 부여함으로써, 자동 평가 및 인간 평가 모두에서 강력한 베이스라인을 능가하여 더 높은 단순화 수준, 유창성, 독해 용이성 점수를 달성한다.

ABSTRACT

Sentence simplification reduces semantic complexity to benefit people with language impairments. Previous simplification studies on the sentence level and word level have achieved promising results but also meet great challenges. For sentence-level studies, sentences after simplification are fluent but sometimes are not really simplified. For word-level studies, words are simplified but also have potential grammar errors due to different usages of words before and after simplification. In this paper, we propose a two-step simplification framework by combining both the word-level and the sentence-level simplifications, making use of their corresponding advantages. Based on the two-step framework, we implement a novel constrained neural generation model to simplify sentences given simplified words. The final results on Wikipedia and Simple Wikipedia aligned datasets indicate that our method yields better performance than various baselines.

연구 동기 및 목표

• 기존 문장 단순화 모델이 의미적으로 유의미하게 단순화하지 못하거나 문법적 오류를 유발하는 등의 한계를 해결하기 위해.
• 어휘 수준의 단순화(어휘 치환)와 문장 수준의 단순화(구문 재구성)의 장점을 융합하여 출력 품질을 향상시키기 위해.
• 디코딩 중 필수 단순화된 단어에 제약 조건을 적용하여 의미의 충실도와 단순화를 보장하는 신경 생성 모델을 개발하기 위해.
• 의미 유사도를 유지하면서 독해 용이성과 문법적 정확성을 향상시키기 위해.

제안 방법

• 이중 단계의 단순화 프레임워크: 먼저, 사전에 구축된 지식 기반(예: PPDB)을 사용하여 복잡한 단어를 더 간단한 동의어로 치환한다.
• 두 번째로, 단순화된 단어를 조건으로 삼아 제약 조건이 부여된 시퀀스-투-시퀀스 모델이 단순화된 문장을 생성한다. 이는 출력에 해당 단어가 포함되도록 보장한다.
• 모델은 단일 단어 제약에서 다중 단어 제약으로 디코딩 중 확장되며, 어텐션 메커니즘과 포인터-생성기 네트워크를 사용하여 입력의 구조를 유지한다.
• 제약 조건이 부여된 생성 과정은 특정 단어가 생성 시점에 포함되도록 보장하는 수정된 디코딩 전략을 사용한다.
• 모델은 유창성, 단순화 수준, 의미 유사도를 최적화하기 위해 병렬 Wikipedia 및 Simple Wikipedia 데이터셋을 엔드 투 엔드로 훈련한다.
• 신경 기계 번역 원리를 활용하지만, 동일하거나 단순화되지 않은 문장을 생성하는 것을 방지하기 위해 하드 제약 조건을 통합한다.

실험 결과

연구 질문

• RQ1 어휘 수준과 문장 수준의 단순화를 융합함으로써, 문장의 유창성과 문법성 측면에서 단순화된 문장의 품질을 향상시킬 수 있는가?
• RQ2 제약 조건이 부여된 seq2seq 모델은 문장 생성 중 특정 단순화된 단어가 포함되도록 보장하는 데 얼마나 효과적인가?
• RQ3 생성된 단어에 제약 조건을 적용함으로써, 제약 조건이 없는 모델에 비해 독해 용이성과 의미 보존 측면에서 더 나은 성능을 내는가?
• RQ4 이중 단계 프레임워크는 의미 있는 단순화를 달성하면서도 문법 오류의 위험을 줄일 수 있는가?

주요 결과

• 제약 조건이 부여된 seq2seq 모델은 iBLEU 점수 20.26을 기록하여, Moses(99.62 BLEU(O,I)이지만 단순화 수준 0.02) 및 SBMT와 같은 강력한 베이스라인을 크게 앞서 갔다.
• 모델은 가장 높은 Flesch 독해 용이성 점수(FK) 12.74를 기록하여 모든 베이스라인보다 더 나은 독해 용이성을 보였다.
• 인간 평가 결과, 제약 조건이 부여된 seq2seq 모델은 의미 유사도 점수 2.81, 단순화 수준 점수 0.96을 기록하여 어휘 치환 모델(의미 유사도는 높지만 문법 오류가 많음) 및 기타 베이스라인을 모두 앞섰다.
• 멀티-제약 조건 seq2seq 모델은 iBLEU 19.87과 SARI 33.16을 기록하여 유창성과 의미 유사도 측면에서 뛰어난 성능을 보였다.
• 사례 연구 결과, 모델가 올바르게 단순화된 단어(예: 'hub' 대신 'center')를 삽입하고 복잡한 어구를 재구성했으며, 단순한 치환으로 인한 일반적인 문법 오류를 피했다.
• 모델는 Moses 및 SBMT와 달리 입력 문장과 동일한 문장을 생성하지 않아, 각각 116건, 99건의 동일한 출력을 생성한 것과 대비되었다.