[논문 리뷰] Controllable Text Simplification with Explicit Paraphrasing

Mounica Maddela, Fernando Alva-Manchego외 1명|arXiv (Cornell University)|2020. 10. 21.

Text Readability and Simplification참고 문헌 66인용 수 7

한 줄 요약

이 논문은 문법적으로 유용한 규칙을 활용한 문장 분할 및 삭제와 신경 어휘 재작성 모델을 결합한 하이브리드 텍스트 단순화 모델을 제안한다. 이는 단순화 스타일에 대한 더 큰 제어력을 가능하게 한다. 새로운 데이터 증강 방법을 도입함으로써, 출력 길이, 분할 빈도, 단어 복사 비율에 대한 제어력과 함께 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Text Simplification improves the readability of sentences through several rewriting transformations, such as lexical paraphrasing, deletion, and splitting. Current simplification systems are predominantly sequence-to-sequence models that are trained end-to-end to perform all these operations simultaneously. However, such systems limit themselves to mostly deleting words and cannot easily adapt to the requirements of different target audiences. In this paper, we propose a novel hybrid approach that leverages linguistically-motivated rules for splitting and deletion, and couples them with a neural paraphrasing model to produce varied rewriting styles. We introduce a new data augmentation method to improve the paraphrasing capability of our model. Through automatic and manual evaluations, we show that our proposed model establishes a new state-of-the-art for the task, paraphrasing more often than the existing systems, and can control the degree of each simplification operation applied to the input texts.

연구 동기 및 목표

• 텍스트 단순화에서 순차적-순차적 모델의 한계를 해결하기 위해, 주로 삭제 기반이며 어휘 재작성 능력이 부족한 점을 해결하기 위해.
• 문장 분할, 삭제, 어휘 어휘 재작성에 대한 세밀한 제어를 가능하게 하여 단순화 출력의 제어 가능성을 향상시키기 위해.
• 중간 단순화 출력 기반의 새로운 데이터 증강 전략을 통해 신경 어휘 재작성 모델의 다양성과 효과성을 향상시키기 위해.
• 텍스트 단순화에서 어휘 재작성의 질을 더 잘 평가하기 위해 다수의 인간 기준 참조를 포함한 새로운 평가 벤치마크인 Newsela-Turk를 구축하기 위해.
• 기존의 엔드 투 엔드 모델보다도 자동 평가 및 인간 평가 모두에서 우수한 성능을 보이는 하이브리드 아키텍처(기호 규칙과 신경 생성의 조합)가 성능을 뛰어나게 한다는 것을 입증하기 위해.

제안 방법

• 모델은 문장 분할 및 삭제를 통해 중간 단순화 출력을 생성하기 위해 언어학적으로 유용한 규칙을 먼저 적용한다. 이로써 후보 출력 집합을 생성한다.
• 쌍별 신경 순위 매기기 모델이 단순화 품질 기반으로 중간 출력들 중 최고 품질의 후보들을 선별한다.
• 선별된 후보들은 중간 출력에 대해 미세조정된 신경 어휘 재작성 모델을 통해 재작성되어 어휘 다양성과 유창성이 향상된다.
• 중간 단순화 출력을 학습 예제로 사용함으로써 새로운 데이터 증강 방법을 도입하여 어휘 재작성 모델의 다양한 어휘 재작성 생성 능력을 향상시킨다.
• 하이퍼파rameter cp에 의해 제어되는 입력에서 복사된 단어 비율에 대한 소프트 제약을 통해 제어 가능성을 확보한다. 이는 어휘 재작성 강도를 조절할 수 있도록 한다.
• 특정 구조적 기준을 충족하는 후보들을 선택하는 방식으로 문장 분할 수와 삭제 비율에 대한 동적 제어를 지원한다.

실험 결과

연구 질문

• RQ1 규칙 기반 단순화와 신경 어휘 재작성의 분리된 아키텍처를 가진 하이브리드 모델이 엔드 투 엔드 seq2seq 모델보다 더 나은 어휘 재작성 성능을 달성할 수 있는가?
• RQ2 모델이 단순화 출력에서 문장 분할, 삭제, 어휘 재작성의 정도를 어느 정도 제어할 수 있는가?
• RQ3 중간 단순화 출력을 활용한 데이터 증강이 신경 어휘 재작성의 다양성과 품질을 상당히 향상시키는가?
• RQ4 제안된 모델이 기존 최신 기술 수준의 시스템보다 인간 편집 기준과 더 유사한 단순화를 생성할 수 있는가?
• RQ5 어휘 재작성 품질 평가에 특화된 새로운 평가 벤치마크에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 모델은 Newsela 테스트 세트에서 새로운 최고 성능을 기록했으며, 자동 평가 및 인간 평가 모두에서 이전의 엔드 투 엔드 모델을 능가했다.
• 이전 시스템보다 훨씬 더 자주 어휘 재작성을 수행하며, 출력의 17.0%가 새로운 단어를 도입했다 (이전 연구의 0.7–11.2% 대비), 이는 더 강한 어휘 다양성을 나타낸다.
• 모델은 단순화 스타일에 효과적으로 제어할 수 있다. 복사 비율(cp)이 0.8일 때, 31.8%의 문장 분할과 3.0%의 동일 출력을 생성하여 높은 다양성을 보였다.
• 다수의 인간 기준 참조를 포함한 새로운 Newsela-Turk 데이터셋은 어휘 재작성 평가의 신뢰도를 높였으며, 이는 모델의 출력이 기존 시스템보다 인간 기준과 더 유사하다는 것을 드러냈다.
• 데이터 증강 방법은 자동 평가 및 수동 평가를 통해 어휘 재작성 모델이 다양한, 자연스럽고 의미 있는 재작성문을 더 잘 생성할 수 있도록 크게 향상시켰다.
• 모델은 삭제에 과도하게 의존하지 않으며, 동일 출력 비율을 3.0%로 유지함으로써 높은 유창성과 의미 유지 능력을 유지한다. 이는 이전 모델들이 자주 짧고 열악한 출력을 생성한 것과는 다릅니다.