[논문 리뷰] Controllable Sentence Simplification

Louis Martin, Benoît Sagot외 2명|arXiv (Cornell University)|2019. 10. 07.

Text Readability and Simplification참고 문헌 5인용 수 15

한 줄 요약

이 논문은 문장 단순화를 위한 제어 가능한 시퀀스-투-시퀀스 모델인 ACCESS를 제안한다. 이 모델은 길이, 어휘 복잡도, 문법 복잡도, 약어화 여부와 같은 출력 속성에 대해 명시적인 제어를 가능하게 한다. 훈련 시기에 이산 제어 토큰을 조건으로 삼음으로써, 외부 자원이나 수정된 훈련 목표 없이도 WikiLarge 벤치마크에서 SARI 점수 41.87을 기록하며 새로운 최고 성능을 달성한다.

ABSTRACT

Text simplification aims at making a text easier to read and understand by simplifying grammar and structure while keeping the underlying information identical. It is often considered an all-purpose generic task where the same simplification is suitable for all; however multiple audiences can benefit from simplified text in different ways. We adapt a discrete parametrization mechanism that provides explicit control on simplification systems based on Sequence-to-Sequence models. As a result, users can condition the simplifications returned by a model on attributes such as length, amount of paraphrasing, lexical complexity and syntactic complexity. We also show that carefully chosen values of these attributes allow out-of-the-box Sequence-to-Sequence models to outperform their standard counterparts on simplification benchmarks. Our model, which we call ACCESS (as shorthand for AudienCe-CEntric Sentence Simplification), establishes the state of the art at 41.87 SARI on the WikiLarge test set, a +1.42 improvement over the best previously reported score.

연구 동기 및 목표

• 다양한 독자층의 독서 필요에 맞추어 조정되지 못하는 일반적인 텍스트 단순화 모델의 한계를 해결하기 위해.
• 길이, 어휘 복잡도, 문법 복잡도, 약어화와 같은 특정 속성에 따라 조건을 설정함으로써 사용자 제어형 단순화 문장 생성을 가능하게 하기 위해.
• 외부 데이터나 수정된 훈련 목표 없이도 제어 가능한 파arametrization을 통해 표준 단순화 벤치마크에서 성능을 향상시키기 위해.
• 조심스럽게 校정된 제어 속성이 표준 시퀀스-투-시퀀스 모델보다 단순화 작업에서 더 나은 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 사용자가 정의한 속성에 따라 시퀀스-투-시퀀스 모델을 조건화하기 위해 이산 파arametrization 메커니즘을 적응시켰다.
• 목표 속성(예: 'length:short', 'lexical_complexity:low')을 나타내는 제어 토큰을 원본 문장과 함께 추가 입력으로 도입했다.
• 이러한 제어 토큰을 사용해 트랜스포저 기반의 시퀀스-투-시퀀스 모델을 엔드 투 엔드로 훈련하여 특정 속성에 맞는 단순화를 생성하도록 하였다.
• 외부 자원이나 훈련 목표를 수정하지 않고도 표준 훈련 목표(예: 교차 엔트로피 손실)를 사용하였다.
• 추론 시에 테스트 시간에 원하는 제어 토큰을 제공함으로써 특정 속성에 맞는 단순화를 생성할 수 있도록 하였다.
• 벤치마크 데이터셋에서 성능을 최적화하기 위해 초모수 검색을 통해 제어 값의 校정을 수행하였다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 프레임워크 내에서 길이, 복잡도 등의 단순화 속성에 대해 명시적인 제어를 효과적으로 구현할 수 있는가?
• RQ2 이산 제어 토큰에 기반한 조건 설정이 출력 속성에 대해 의미 있고 측정 가능한 제어를 가능하게 하는가?
• RQ3 제어 가능한 모델이 외부 데이터나 수정된 목표 없이도 표준 벤치마크에서 표준 시퀀스-투-시퀀스 모델보다 더 나은 성능을 낼 수 있는가?
• RQ4 제어 속성의 校정이 WikiLarge 벤치마크에서 단순화 품질 향상에 얼마나 기여하는가?

주요 결과

• 제안된 ACCESS 모델은 WikiLarge 테스트 세트에서 새로운 최고 성능 SARI 점수 41.87을 기록하였으며, 이는 이전 최고 기록 대비 +1.42 향상된 결과이다.
• 제어 가능한 생성은 길이, 어휘 복잡도, 문법 복잡도, 약어화와 같은 출력 속성에 대한 정밀한 조작이 가능함을 확인하였으며, 정성적 및 정량적 분석을 통해 검증되었다.
• 조심스럽게 튜닝된 제어 값은 아키텍처 수정 없이도 외부 데이터 없이도 표준 시퀀스-투-시퀀스 기반 모델을 능가하는 성능을 낼 수 있음을 보여주었다.
• 짧은 출력이나 낮은 어휘 난이도를 요구하는 특정 사용자 필요에 맞게 단순화를 효과적으로 생성하는 데 있어 모델의 강건성을 입증하였다.
• 이산 제어 메커니즘은 재학습이나 외부 감독 없이도 효과적이고 해석 가능한 제어를 가능하게 하였다.
• 모델는 정확성과 유창성을 유지하면서도 세밀한 제어를 가능하게 하여 다양한 최종 사용자에게 실용적인 유용성을 확인하였다.