[논문 리뷰] Split and Rephrase

Shashi Narayan, Claire Gardent외 2명|arXiv (Cornell University)|2017. 07. 21.

Text Readability and Simplification인용 수 8

한 줄 요약

이 논문은 복잡한 문장을 삭제나 어휘 단순화 없이 의미를 유지하는 짧은 문장들로 분할하는 새로운 문장 단순화 방법인 Split-and-Rephrase 작업을 소개한다. 저자들은 107만 개의 문장 쌍을 포함하는 WebSplit 벤치마크를 구축하고, 생성 전에 의미를 분해하는 데 효과적으로 작용하는 파artition-and-generate 모델이 표준 시퀀스-투-시퀀스 및 다중 소스 모델보다 뛰어난 성능을 보임을 보여준다.

ABSTRACT

We propose a new sentence simplification task (Split-and-Rephrase) where the aim is to split a complex sentence into a meaning preserving sequence of shorter sentences. Like sentence simplification, splitting-and-rephrasing has the potential of benefiting both natural language processing and societal applications. Because shorter sentences are generally better processed by NLP systems, it could be used as a preprocessing step which facilitates and improves the performance of parsers, semantic role labellers and machine translation systems. It should also be of use for people with reading disabilities because it allows the conversion of longer sentences into shorter ones. This paper makes two contributions towards this new task. First, we create and make available a benchmark consisting of 1,066,115 tuples mapping a single complex sentence to a sequence of sentences expressing the same meaning. Second, we propose five models (vanilla sequence-to-sequence to semantically-motivated models) to understand the difficulty of the proposed task.

연구 동기 및 목표

• 읽기 어려움을 겪는 독자 및 NLP 시스템 성능 향상을 위해 복잡한 문장을 분할하고 재구성함으로써 의미를 유지하는 문장 단순화의 필요성을 해결하기 위해.
• 구문 재구성을 통해 복잡한 문장을 의미를 유지하는 짧은 문장들로 분할하는 데 초점을 맞춘 새로운 작업인 Split-and-Rephrase를 개발하기 위해.
• Split-and-Rephrase 모델의 훈련 및 평가를 지원하기 위해 대규모이고 의미적으로 주석이付け된 벤치마크(WebSplit)를 구축하기 위해.
• 이 작업에서 요구되는 의미 분해 및 재구성에 대해 다양한 신경망 아키텍처의 효과성을 조사하기 위해.

제안 방법

• 복잡한 문장을 의미적으로 동일한 짧은 문장의 시퀀스로 매핑하기 위해 WebNLG 코퍼스에서 WebSplit 데이터셋을 구축하고, 의사소통 표현 구조(DRS)와 RDF 트리플을 사용한다.
• 다섯 가지 모델을 설계한다: 일반적인 시퀀스-투-시퀀스 모델, DRS를 사용하는 하이브리드 SMT 모델, 문장과 RDF 입력을 모두 사용하는 다중 소스 인코더-디코더 모델, 그리고 생성 전에 의미 표현을 공리적 단위로 분할하는 파artition-and-generate 모델 두 종류.
• 각 문장을 별도로 생성하기 전에 의미 표현(RDF 트리플)을 일관된 하위 단위로 나누는 파artition-and-generate 모델을 사용한다.
• 의미 유지 재구성과 분할을 유도하기 위해 표면 수준의 텍스트와 의미 표현을 조합하여 모델을 훈련한다.
• 출현성과 분할 효과를 평가하기 위해 BLEU 점수와 문장 길이 지표를 사용하고, 의미 유지 정도 평가를 위해 인간 평가를 실시한다.
• 복잡한 문장에서 DRS 표현을 생성하기 위해 Boxer를 활용하여 모델 입력의 의미 기반을 확보한다.

실험 결과

연구 질문

• RQ1 삭제나 어휘 단순화 없이 분할과 재구성에 중점을 둔 문장 단순화 작업이 NLP 시스템 성능 향상과 독자 접근성 향상에 기여할 수 있는가?
• RQ2 특히 의미를 분해하는 아키텍처를 사용한 다양한 신경망 아키텍처가 표준 시퀀스-투-시퀀스 모델 대비 Split-and-Rephrase 작업에서 얼마나 효과적인가?
• RQ3 의미 표현(예: DRS 또는 RDF 트리플)을 통합할 경우 생성된 문장 시퀀스의 품질과 의미 유지 정도가 얼마나 향상되는가?
• RQ4 생성 전에 의미 입력을 분할하는 것이 종단 간 생성보다 더 나은 분할 및 재구성 성능을 낼 수 있는가?
• RQ5 기계 번역과 같은 다른 NLP 작업에서 성공한 바 있는 다중 소스 모델이 이 설정에서는 성능이 열등한 이유는 무엇인가?

주요 결과

• 파artition-and-generate 모델이 모든 다른 모델보다 뚜렷이 뛰어나 의미 유지와 효과적인 문장 분할 사이의 균형을 가장 잘 달성한다.
• BLEU 점수만으로는 Split-and-Rephrase 평가에 부적절하며, 평균 길이가 긴 단일 문장 출력에서 높은 점수를 기록할 수 있어 분할 성능이 열악한 것을 가리킬 수 있다.
• 일반적인 시퀀스-투-시퀀스 모델과 다중 소스 모델은 특히 긴 입력에서 환각되거나 의미를 유지하지 못하는 내용을 자주 생성한다.
• DRS를 사용하는 하이브리드 SMT 모델은 복잡한 고유명사의 의미 분석 오류로 인해 성능이 열악하다.
• 더 많은 입력 정보를 사용하고도 다중 소스 모델이 성능이 열등한 것은 텍스트와 의미 표현 간 분포 불일치 또는 훈련 데이터 부족으로 인한 것으로 보인다.
• 두 파artition-and-generate 모델은 복잡한 문장을 정확히 재구성하고 분할한다(예: 관계절을 주절으로 전환), 유창하고 의미적으로 정확한 출력을 생성한다.