[논문 리뷰] Controllable Sentence Simplification: Employing Syntactic and Lexical Constraints

Jonathan Mallinson, Mirella Lapata|arXiv (Cornell University)|2019. 10. 10.

Text Readability and Simplification참고 문헌 45인용 수 14

한 줄 요약

이 논문은 Transformer 아키텍처 기반의 제어 가능한 문장 단순화 모델인 CROSS를 제안한다. 이 모델은 사용자별로 다를 수 있는 필요에 맞게 단순화를 조정하기 위해 명시적인 문법적 및 어휘적 제약 조건을 사용한다. 학습 가능한 또는 사용자가 정의한 제약 조건을 모델에 통합함으로써, 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도 단순화 수준과 유형(예: 어휘 교체 및 문법적 재구성)에 대한 민감한 제어를 가능하게 한다.

ABSTRACT

Sentence simplification aims to make sentences easier to read and understand. Recent approaches have shown promising results with sequence-to-sequence models which have been developed assuming homogeneous target audiences. In this paper we argue that different users have different simplification needs (e.g. dyslexics vs. non-native speakers), and propose CROSS, ContROllable Sentence Simplification model, which allows to control both the level of simplicity and the type of the simplification. We achieve this by enriching a Transformer-based architecture with syntactic and lexical constraints (which can be set or learned from data). Empirical results on two benchmark datasets show that constraints are key to successful simplification, offering flexible generation output.

연구 동기 및 목표

• 기존의 문장 단순화 모델이 모든 사용자를 동일하게 취급하는 한계를 해결하기 위해, 독독증, 낮은 독해력 또는 모국어가 아닌 언어 능력 등 다양한 사용자 요구를 반영한다.
• 재학습 없이도 다양한 사용자 요구에 맞게 조정 가능한 통합 모델을 개발한다.
• 어휘적 및 문법적 단순화의 수준과 유형을 명시적 제약 조건을 통해 제어할 수 있도록 한다.
• Transformer 기반의 시퀀스 투 시퀀스 프레임워크에 구조적 및 어휘적 제약 조건을 통합하여 단순화 품질을 향상시킨다.
• 제약 조건이 제어 가능성과 성능을 모두 향상시켜 다양한 사용자 집단에 유연하게 적용 가능한 솔루션임을 입증한다.

제안 방법

• 디코딩 중 단순화 결정을 이끄는 문법적 및 어휘적 제약 조건을 Transformer 기반의 인코더-디코더 모델에 통합한다.
• 학습 데이터에 어휘 교체(예: 단어 유지 또는 교체) 및 문법적 단순화(예: 어순, 시제, 문장 분할 템플릿 등)에 대한 명시적 애너테이션을 삽입한다.
• 추론 시기에 사용자가 제약 조건을 지정할 수 있도록 하여, 어휘 교체 수를 늘리거나 문법적 변형을 강화하는 등의 조정을 가능하게 한다.
• 모델 학습 후 제약 조건을 적용함으로써, 재학습 없이도 다양한 사용자 프로파일에 대응할 수 있도록 한다.
• 디코딩 과정을 먼저 목표 문법을 제약 조건을 통해 생성한 후 어휘 토큰을 생성하도록 구성하여 문법적 일관성을 확보한다.
• 수동으로 선별한 제약 조건과 데이터 기반으로 학습된 제약 조건을 조합하여 사용하며, 고빈도 단순화 패턴 및 복잡어 목록(예: Newsela의 12,000개의 가장 복잡한 단어)을 포함한다.

실험 결과

연구 질문

• RQ1 문법적 및 어휘적 제약 조건을 Transformer 기반의 시퀀스 투 시퀀스 모델에 효과적으로 통합할 수 있는가?
• RQ2 재학습 없이도 제약 조건을 통해 단순화 수준과 유형(예: 어휘적 vs. 문법적 변화)에 대한 제어를 어느 정도 가능하게 할 수 있는가?
• RQ3 제약 조건 기반 단순화 방식은 무제약 모델 대비 문법성, 적합성, 단순성 측면에서 어떻게 비교되는가?
• RQ4 사용자 설정을 조절함으로써 다양한 사용자 요구(예: 독독증 읽기자 vs. 비모국어 사용자)에 맞는 출력을 생성할 수 있는가?
• RQ5 제약 조건 강도를 높일수록 단순화 수준과 출력 품질(예: 문법성, 적합성) 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• CROSS는 WikiLarge 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 평가된 모델들 중에서 최저 Minimum 점수를 기록했다.
• 모델은 다양한 수준의 단순화를 생성할 수 있으며, 'Simple' 및 'XSimple' 버전 간의 FKGL 점수에 상당한 차이가 있어 명백한 단순화 수준의 차이를 보였다.
• 뉴스엘라 데이터셋에서의 인간 평가 결과, 'XSimple' 출력은 'Simple' 출력보다 유의미하게 적합성과 문법성이 떨어졌으며, 이는 단순성과 유창성 사이의 상충 관계를 시사한다.
• WikiLarge에서 'Simple' 및 'XSimple' 출력 간 인간 평가 점수에 유의미한 차이가 없었으며, 이는 이 데이터셋에서는 더 균형 잡힌 상충 관계가 존재함을 시사한다.
• 기본 Transformer 모델보다 CROSS가 훨씬 더 많은 문법적 단순화(예: 어순, 시제, 문장 분할 등)를 수행하며, 기준 단순화 결과와 매우 유사한 결과를 도출했다.
• 모델가 학습 후 제약 조건를 적용할 수 있도록 함으로써, 재학습 없이도 다양한 사용자 요구에 맞게 민감하게 적응 가능하며, 강력한 제어 가능성의 가능성을 입증했다.