[논문 리뷰] Neural CRF Model for Sentence Alignment in Text Simplification

Chao Jiang, Mounica Maddela외 3명|arXiv (Cornell University)|2020. 05. 05.

Text Readability and Simplification참고 문헌 54인용 수 4

한 줄 요약

이 논문은 텍스트 단순화에서 단일 언어 문장 정렬을 위한 신경 CRF 모델을 제안한다. 이 모델은 의미 유사도를 위해 미세조정된 BERT와 CRF 디코딩을 조합하여 문장 순서와 편집 패턴을 활용한다. 이 방법은 이전 작업 대비 5점 이상의 F1 점수 향상을 달성하며, Newsela-Auto와 Wiki-Auto라는 두 가지 새로운 고품질 데이터셋을 생성한다. 이 데이터셋들은 BERT로 초기화된 Transformer 모델을 훈련시켜 텍스트 단순화 성능에서 새로운 최고 성능을 달성한다.

ABSTRACT

The success of a text simplification system heavily depends on the quality and quantity of complex-simple sentence pairs in the training corpus, which are extracted by aligning sentences between parallel articles. To evaluate and improve sentence alignment quality, we create two manually annotated sentence-aligned datasets from two commonly used text simplification corpora, Newsela and Wikipedia. We propose a novel neural CRF alignment model which not only leverages the sequential nature of sentences in parallel documents but also utilizes a neural sentence pair model to capture semantic similarity. Experiments demonstrate that our proposed approach outperforms all the previous work on monolingual sentence alignment task by more than 5 points in F1. We apply our CRF aligner to construct two new text simplification datasets, Newsela-Auto and Wiki-Auto, which are much larger and of better quality compared to the existing datasets. A Transformer-based seq2seq model trained on our datasets establishes a new state-of-the-art for text simplification in both automatic and human evaluation.

연구 동기 및 목표

• 기존 텍스트 단순화 데이터셋의 낮은 품질과 제한된 크기 문제를 해결하기 위해, 의미적 약어화를 포착하지 못하는 표면 수준의 유사도 측정 기준에 의존하는 데이터셋이 많다는 점을 다루기 위해.
• 병렬 복잡한-간단한 텍스트 쌍에서 의미 유사도와 순차적 구조를 모두 포착하는 더 정확한 문장 정렬 방법을 개발하기 위해.
• 제안된 정렬 모델을 대규모로 적용하여 텍스트 단순화를 위한 새로운 고품질 훈련 데이터셋을 구축하기 위해.
• 새로운 데이터셋으로 상태최고성능(SOTA) 텍스트 단순화 모델을 훈련하고 자동 평가 및 인간 평가 모두에서 성능을 평가하기 위해.
• 첫 번째 고품질 수동 애너테이션 데이터셋(Newsela-Manual 및 Wiki-Manual)을 생성함으로써 단일 언어 문장 정렬의 체계적 연구를 가능하게 하기 위해.

제안 방법

• 모델은 병렬 문서 내 문장 간 순차적 의존성을 활용하여 문장 정렬을 공동으로 모델링하기 위해 신경 CRF 프레임워크를 사용한다.
• 문장 쌍의 조밀한 의미 표현을 계산하기 위해 미세조정된 BERT 모델을 활용하여, 어휘적 겹침을 초월한 약어화와 의미적 동치성을 포착한다.
• 문장 수준의 정렬 이전에 문단 수준의 정렬 알고리즘을 적용하며, 의미 유사도와 근접성을 기반으로 대응하는 문단를 정렬한다.
• CRF 레이어는 단조성 및 일대일 또는 일대다 정렬과 같은 구조적 제약 조건을 강제하여, 분할이나 확장과 같은 타당한 편집 작업을 보장한다.
• 수동 애너테이션된 Newsela-Manual 및 Wiki-Manual 데이터셋에서 엔드 투 엔드로 훈련하여 정렬 패턴을 학습한다.
• 훈련된 모델은 이후 1,882개의 Newsela 기사 세트와 138,095개의 위키백과 기사 쌍에 대해 대규모로 적용되어 Newsela-Auto 및 Wiki-Auto 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 BERT 기반 의미 유사도와 순서 모델링을 조합한 신경 CRF 모델이 기존 표면 수준의 유사도 방법보다 단일 언어 문장 정렬에서 더 우수한 성능을 내는가?
• RQ2 제안된 정렬 모델이 텍스트 단순화 훈련 데이터의 품질과 다양성에 얼마나 기여하는가?
• RQ3 새로가 구축된 데이터셋으로 트랜스포머 기반 텍스트 단순화 모델을 훈련시키면 자동 평가 및 인간 평가 모두에서 성능 향상이 이루어지는가?
• RQ4 기존 낮은 품질의 데이터셋으로 훈련된 모델에 비해, 이 모델이 약어화를 얼마나 잘 포착하는가?
• RQ5 제안된 정렬 방법이 대규모 실세계 텍스트 단순화 코퍼스에 효과적으로 스케일업 가능한가?

주요 결과

• 제안된 신경 CRF 모델은 벤치마크 평가에서 이전의 모든 단일 언어 문장 정렬 방법보다 5점 이상 높은 F1 점수를 기록한다.
• Newsela-Auto 데이터셋에서 BERT로 초기화된 트랜스포머 모델을 훈련시킬 경우, 원본 Newsela 데이터셋에서 훈련시킨 것에 비해 SARI 점수에서 3.4%p의 절대적 향상을 달성한다.
• Newsela-Auto 데이터셋에서 훈련된 트랜스포머 모델은 원본 Newsela 데이터셋에서 훈련된 모델보다 25% 더 많은 약어화 및 삭제를 수행하여 생성 과정에서 더 큰 언어 다양성을 보인다.
• 새로운 데이터셋인 Newsela-Auto(666,645개 문장 쌍)와 Wiki-Auto(488,332개 문장 쌍)는 각각 기존 대응 데이터셋보다 4.7배와 1.6배 더 크다.
• 인간 평가 결과, 새로운 데이터셋에서 훈련된 모델은 최고 성능 시스템에 비해 유창성, 적합성 및 총합 품질에서 유의미하게 높은 수준을 기록한다.
• 50개의 Newsela 기사 세트와 500개의 위키백과 기사 쌍(Newsela-Manual 및 Wiki-Manual)에 대한 수동 애너테이션은 문장 정렬 모델 훈련 및 평가를 위한 첫 번째 고품질 벤치마크를 제공한다.