[논문 리뷰] Sentence Simplification with Memory-Augmented Neural Networks

Tu Vu, Baotian Hu외 2명|arXiv (Cornell University)|2018. 04. 20.

Text Readability and Simplification참고 문헌 15인용 수 7

한 줄 요약

이 논문은 장기적 의존성 모델링을 향상시키기 위해 신경적 의미 인코더(Neural Semantic Encoder, NSE)를 인코더로 사용하는 메모리 보강 신경 시퀀스-투-시퀀스 모델을 제안한다. NseLstm-B 모델은 자동 평가 및 인간 평가 모두에서 강력한 베이스라인을 능가하며 의미와 유창성을 유지하면서 독해 난이도를 크게 감소시킨다.

ABSTRACT

Sentence simplification aims to simplify the content and structure of complex sentences, and thus make them easier to interpret for human readers, and easier to process for downstream NLP applications. Recent advances in neural machine translation have paved the way for novel approaches to the task. In this paper, we adapt an architecture with augmented memory capacities called Neural Semantic Encoders (Munkhdalai and Yu, 2017) for sentence simplification. Our experiments demonstrate the effectiveness of our approach on different simplification datasets, both in terms of automatic evaluation measures and human judgments.

연구 동기 및 목표

• 긴 복잡한 문장을 단순화하면서 의미와 문법적 정확성을 유지하는 도전 과제를 해결하기 위해.
• 기본 LSTM/GRU 모델에 비해 메모리 보강 RNN 아키텍처가 문장 간단화 성능을 향상시키는지 탐색하기 위해.
• 다양한 인코더 아키텍처를 갖춘 신경 시퀀스-투-시퀀스 모델의 간단화 작업에 대한 효과를 평가하기 위해.
• 자동 평가 및 인간 평가 지표에서 유창성, 충분성, 단순성 간의 상충 관계를 분석하기 위해.

제안 방법

• 모델은 신경적 의미 인코더(NSE)를 인코더로 사용하고 LSTM을 디코더로 사용하는 어텐션 기반 인코더-디코더 프레임워크를 사용한다.
• NSE는 입력 시퀀스 전반에 걸친 문맥 표현을 저장하고 정제하기 위해 각 시간 단계에서 메모리 매트릭스를 업데이트한다.
• 메모리 매트릭스는 단어 벡터로 초기화되며, NSE의 내부 함수를 사용해 장기적 의존성을 포착하도록 정제된다.
• 어텐션 메커니즘은 디코더가 타겟 생성 중 관련된 소스 위치에 동적으로 주목할 수 있도록 한다.
• 모델는 병렬로 복잡한-단순 문장 쌍에 대해 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련된다.
• 다양한 훈련 데이터와 비드 서치 전략을 적용한 NseLstm-B, NseLstm-S, LstmLstm-B, LstmLstm-S 등의 변종이 평가되었다.

실험 결과

연구 질문

• RQ1 NSE와 같은 메모리 보강 RNN 아키텍처가 기존 LSTM 기반 모델에 비해 문장 간단화 성능을 향상시키는가?
• RQ2 NSE 인코더는 간단화 작업에서 긴 복잡한 문장을 다룰 수 있는 능력에 어떤 영향을 미치는가?
• RQ3 신경 문장 간단화 시스템에서 유창성, 충분성, 단순성 간의 상충 관계는 어떠한가?
• RQ4 자동 평가 지표는 문장 간단화에서 인간 평가와 얼마나 관련이 있는가?

주요 결과

• NseLstm-B 모델은 유창성과 충분성 측면에서 WikiSmall 및 WikiLarge 데이터셋 모두에서 최고 성능을 기록했다.
• WikiLarge에서 NseLstm-B는 최고의 충분성 점수를 기록했고, LstmLstm-B는 최고의 유창성 점수를 기록했다.
• WikiSmall 및 WikiLarge 전반에서 NseLstm-S 변종이 단순성 및 평균 점수 측면에서 모든 다른 시스템을 능가했다.
• 인간 평가 결과, 유창성과 충분성 간에 유의미한 양의 상관관계(r=0.69)가 있었고, 충분성과 단순성 간에는 유의미한 음의 상관관계(r=-0.64)가 있었다.
• BLEU는 충분성(r=0.90)과 유창성(r=0.63)과 강한 상관관계를 보였고, SARI는 단순성과 가장 높은 상관관계(r=0.73)를 보였다.
• 결과는 신경 모델이 유창성 측면에선 전통적 시스템을 능가하지만, 특히 입력 문장을 그대로 복사할 때 의미 유지에 어려움을 겪는 경향이 있음을 확인한다.