[논문 리뷰] Simple-QE: Better Automatic Quality Estimation for Text Simplification

Reno Kriz, Marianna Apidianaki외 1명|arXiv (Cornell University)|2020. 12. 22.

Text Readability and Simplification참고 문헌 22인용 수 6

한 줄 요약

이 논문은 인간 기준 텍스트가 필요 없이 어순성, 충실성, 복잡성 등을 예측할 수 있는 BERT 기반 품질 평가 모델인 Simple-QE를 소개한다. Sum-QE 프레임워크를 변형하고 원본 문장의 특징을 통합함으로써 Simple-QE는 시스템 출력에 대해 인간 평가와 높은 상관관계(r=0.650)를 보이며, 특히 문서 수준에서 복잡성 예측 성능이 뛰어나 기존 베이스라인을 능가한다.

ABSTRACT

Text simplification systems generate versions of texts that are easier to understand for a broader audience. The quality of simplified texts is generally estimated using metrics that compare to human references, which can be difficult to obtain. We propose Simple-QE, a BERT-based quality estimation (QE) model adapted from prior summarization QE work, and show that it correlates well with human quality judgments. Simple-QE does not require human references, which makes the model useful in a practical setting where users would need to be informed about the quality of generated simplifications. We also show that we can adapt this approach to accurately predict the complexity of human-written texts.

연구 동기 및 목표

• 인간 기준 텍스트에 의존하지 않는 텍스트 단순화를 위한 품질 평가 모델을 개발하기 위해.
• BLEU나 SARI와 같은 기준 의존성 지표는 단순화 전용 품질 요소와 상관관계가 낮기 때문에 이를 개선하기 위해.
• 요약 작업에서의 BERT 기반 품질 평가(Sum-QE)를 텍스트 단순화 환경에 적응시키기 위해.
• 실제 단순화 시스템 및 수동 단순화 워크플로우에 품질 평가를 실용적으로 구현하기 위해.
• 모델이 인간이 작성한 텍스트의 복잡성, 특히 문서 수준에서 예측할 수 있는 능력을 탐색하기 위해.

제안 방법

• 요약 작업에서의 다중 작업 BERT 기반 Sum-QE 모델을 단순화된 텍스트에서 어순성, 충실성, 복잡성의 세 가지 언어적 품질을 예측하도록 변형한다.
• 인간 평가 결과를 사용해 연속적인 점수(어순성, 충실성, 복잡성)를 예측하기 위해 BERT를 회귀 헤드에 맞추어 미세조정한다.
• 시스템 출력 및 원본 복잡한 문장에서 유래한 수치적 특징(예: 문장 길이, 파싱 트리 높이)을 통합하여 예측 성능을 향상시킨다.
• 단일 작업(S-1) 및 다중 작업(M-1, M-3) 학습 설정을 사용하며, M-3은 세 가지 품질 점수를 공유 모델에서 동시에 학습한다.
• 문서 수준의 복잡성 예측을 위해 서브 문서 예측 결과를 길이 가중 평균으로 통합한다.
• 뉴스엘라 코퍼스와 위키백과에서의 자동 단순화 출력 및 인간이 작성한 단순화 텍스트를 대상으로 모델을 평가한다.

실험 결과

연구 질문

• RQ1 요약 작업에서 학습된 BERT 기반 품질 평가 모델을 인간 기준 텍스트 없이 텍스트 단순화에 효과적으로 적응시킬 수 있는가?
• RQ2 Simple-QE는 자동 생성된 단순화 텍스트에서 어순성, 충실성, 복잡성에 대한 인간 평가와 얼마나 높은 상관관계를 보이는가?
• RQ3 모델은 인간이 작성한 단순화 텍스트의 복잡성을 정확히 예측할 수 있는가, 특히 문서 수준에서 그러한 능력이 있는가?
• RQ4 문장 길이, 파싱 높이 등의 수치적 특징을 포함시키면 예측 성능이 얼마나 향상되는가?
• RQ5 위키백과 기사와 같은 도메인 외부 텍스트로의 일반화 능력은 어느 정도인가?

주요 결과

• Simple-QE는 시스템 생성 단순화 텍스트에 대해 인간 평가와 어순성에서 0.650, 충실성에서 0.538, 복잡성에서 0.436의 피어슨 상관계수를 기록한다.
• 다중 작업 모델(M-3 All)은 단일 작업 및 기타 기준 모델보다 우수하며, 품질 요소를 동시에 학습함으로써 성능 향상이 가능하다는 것을 보여준다.
• 뉴스엘라 코퍼스에서 문장 수준의 복잡성 예측 시 Simple-QE S-1은 0.726의 상관계수를 기록하며, 특징 기반 기준 모델(LinReg: 0.574)을 능가한다.
• 문서 수준에서 Simple-QE S-1은 인간 복잡성 평가와 0.964의 상관계수를 기록하며, 최고 기준 모델(LinReg: 0.919)을 크게 앞서간다.
• 모델는 도메인 외부 텍스트로의 일반화 능력이 있으며, 병렬로 제공된 단순화 및 표준 위키백과 문서에서 복잡성 예측에 대해 0.729의 피어슨 상관계수를 기록한다.
• 문장 길이가 가장 예측력 있는 특징이지만, BERT 미세조정을 통해 다른 특징들과 조합하면 선형 모델만 사용하는 것보다 유의미하게 더 좋은 성능을 낸다.