[논문 리뷰] Complexity-Weighted Loss and Diverse Reranking for Sentence Simplification

Reno Kriz, João Sedoc외 5명|arXiv (Cornell University)|2019. 04. 04.

Text Readability and Simplification참고 문헌 24인용 수 5

한 줄 요약

이 논문은 훈련 중 복잡도 가중 손실을 통합하고 추론 시 다양한 재정렬을 적용함으로써 단순성, 유창성, 충실도를 향상시키는 새로운 시퀀스-투-시퀀스 프레임워크를 제안한다. 모델은 이전 최고 성능 시스템보다 더 짧고 단순한 문장을 생성하면서도, 단어 복잡도 모델링, 후보 다각성, 다기준 재정렬을 활용하여 경쟁적인 인간 평가 점수를 유지한다.

ABSTRACT

Sentence simplification is the task of rewriting texts so they are easier to understand. Recent research has applied sequence-to-sequence (Seq2Seq) models to this task, focusing largely on training-time improvements via reinforcement learning and memory augmentation. One of the main problems with applying generic Seq2Seq models for simplification is that these models tend to copy directly from the original sentence, resulting in outputs that are relatively long and complex. We aim to alleviate this issue through the use of two main techniques. First, we incorporate content word complexities, as predicted with a leveled word complexity model, into our loss function during training. Second, we generate a large set of diverse candidate simplifications at test time, and rerank these to promote fluency, adequacy, and simplicity. Here, we measure simplicity through a novel sentence complexity model. These extensions allow our models to perform competitively with state-of-the-art systems while generating simpler sentences. We report standard automatic and human evaluation metrics.

연구 동기 및 목표

• 표준 Seq2Seq 모델이 복잡한 소스 문장을 그대로 복사하는 경향이 있어 과도하게 길고 복잡한 단순화 결과를 초래하는 문제를 해결하기 위해.
• 사용자 정의 손실 함수를 통해 내용어의 복잡도를 훈련 목표에 통합함으로써 단순화 품질을 향상시키기 위해.
• 유사도 페널티와 후보 단순화의 군집화를 통해 추론 시 출력의 다각성과 품질을 향상시키기 위해.
• 유창성, 충실도, 단순성에 기반한 새로운 문장 복잡도 모델을 사용하여 후보 문장을 평가하는 재정렬 시스템을 통해 최적의 단순화를 선택하기 위해.
• 후처리 복원 재정렬이 제안된 구성 요소들 중에서 가장 큰 성능 향상을 제공함을 입증하기 위해.

제안 방법

• 훈련 중 고복잡도 내용어의 영향을 감소시키는 복잡도 가중 교차 엔트로피 손실을 도입하여, 모델이 더 단순한 어휘 선택을 유도한다.
• 해당 복원 과정에서 유사도 페널티를 적용하여 생성된 후보 단순화 문장 간의 다양성을 증진시킨다.
• 생성 후 유사한 후보 문장을 군집화하고 높은 재현성을 가지는 문장을 제거하여 다각성을 향상시킨다.
• 유창성, 충실도, 단순성 기반으로 후보 문장을 평가하는 재정렬 모델을 활용하며, 이는 새로운 문장 복잡도 모델을 사용한다.
• 손실 함수에 통합하기 위해 사용자 정의 레벨 단위의 단어 복잡도 모델을 활용하여 내용어의 복잡도를 예측한다.
• 빔 서치를 사용한 트랜스포머 기반 Seq2Seq 아키텍처를 활용하며, 제안된 훈련 및 추론 기법으로 개선한다.

실험 결과

연구 질문

• RQ1 훈련 손실에 어휘 수준의 복잡도를 통합하면 더 단순하고 충실도가 높은 단순화 결과가 도출되는가?
• RQ2 복원 과정에서의 다각성 정규화 및 군집화가 생성된 단순화의 품질을 향상시키는가?
• RQ3 다양한 후보 집합에서 재정렬을 수행하면 표준 복원 방식에 비해 유창성, 충실도, 단순성 측면에서 유의미한 향상이 이루어지는가?
• RQ4 각 구성 요소(복잡도 손실, 다각성, 재정렬)가 종합적인 성능에 기여하는 정도는 어떠한가?
• RQ5 문장 길이가 단순화 결과의 인간 평가 기반 의미 보존 수준과 얼마나 관련이 있는가?

주요 결과

• 제안된 모델은 SARI 지표에서 이전 최고 성능 시스템을 능가하며, 자동 평가 점수 향상을 입증한다.
• 이전 모델 대비 유의미하게 짧은 문장을 생성하며, 평균 문장 길이가 명확히 감소했고, 높은 충실도와 유창성 유지했다.
• 세 가지 구성 요소 중 후처리 복원 단계의 재정렬이 자동 평가 및 인간 평가 환경 모두에서 가장 큰 성능 향상을 제공한다.
• 인간 평가 결과, 모델의 단순화 결과가 더 단순하고 더 유창하다는 평가를 받았으며, 경쟁 수준의 충실도 점수를 확보했다.
• 오류 분석 결과, 길고 복잡한 소스 문장, 대명사 해석 실패, 주절의 핵심 내용 누락 등이 주요 실패 원인으로 드러나, 더 나은 논의 수준의 모델링과 문장 분할 필요성을 시사한다.
• 모델은 실제 정답 데이터에 존재하지 않는 수용 가능한 단순화 결과를 생성하여, 훈련 분포를 초월한 일반화 가능성을 보였다.