[논문 리뷰] Sentence Ordering and Coherence Modeling using Recurrent Neural Networks

Lajanugen Logeswaran, Honglak Lee외 1명|arXiv (Cornell University)|2016. 11. 08.

Topic Modeling인용 수 59

한 줄 요약

이 논문은 문장 수준의 집합 인코더와 포인터 네트워크를 사용하여 일관된 문장 순서를 예측하는 엔드 투 엔드, 비지도 RNN 기반의 집합에서 시퀀스로의 모델을 제안한다. 이 모델은 순서 식별 및 과학적 초록 순서 정렬 작업에서 최신 기술 수준의 성능을 달성하며, 문장 유사성 및 대체문 감지 작업에서 사전 훈련된 방법과 맞먹는 고수준의 논의 표현을 학습한다.

ABSTRACT

Modeling the structure of coherent texts is a key NLP problem. The task of coherently organizing a given set of sentences has been commonly used to build and evaluate models that understand such structure. We propose an end-to-end unsupervised deep learning approach based on the set-to-sequence framework to address this problem. Our model strongly outperforms prior methods in the order discrimination task and a novel task of ordering abstracts from scientific articles. Furthermore, our work shows that useful text representations can be obtained by learning to order sentences. Visualizing the learned sentence representations shows that the model captures high-level logical structure in paragraphs. Our representations perform comparably to state-of-the-art pre-training methods on sentence similarity and paraphrase detection tasks.

연구 동기 및 목표

• 수동으로 제작된 언어학적 특징에 의존하지 않고, 엔드 투 엔드로 비지도 딥 러닝 모델을 개발하여 문장 집합을 일관성 있게 재정렬할 수 있도록 하는 것.
• 문장 순서 정렬을 학습하는 것이 후속 NLP 작업에 유용한 일반적인 문장 표현을 학습하는 데 유용한 자기지도 목적함수로 기능할 수 있는지 조사하는 것.
• 문장 예측을 통해 일관된 텍스트의 논리적 흐름과 주제 흐름을 모델링하여 고수준의 논의 구조를 학습하는 것.
• 표준 순서 식별 벤치마크를 넘어서, 과학 논문의 초록을 순서대로 정리하는 것과 같은 새로운 도전적인 작업에서 모델을 평가하는 것.

제안 방법

• 입력 문장을 기반으로 문장 임베딩을 생성하기 위해 단어 수준의 RNN 인코더를 사용한다.
• 문장 임베딩에 반복적으로 주의를 기울이며 맥락 표현을 구축하기 위해 문장 수준의 집합 인코더 RNN을 활용한다.
• 맥락 표현으로 초기화된 포인터 네트워크 디코더를 사용하여 일관된 순서로 문장을 순차적으로 예측한다.
• 모델이 순서가 뒤섞인 문장 집합을 일관된 시퀀스로 매핑하는 데 집합에서 시퀀스 프레임워크를 활용한다.
• 기울기 기반의 중요도 분석을 통해 모델이 순서 결정을 내릴 때 어떤 단어나 어구에 주목하는지 해석한다.
• 전진 및 역방향 순서 정렬 모델의 문장 표현을 연결하여 의미적 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 RNN 모델이 수동으로 제작된 언어학적 특징에 의존하지 않고 일관성 있게 문장을 재정렬할 수 있는가?
• RQ2 문장 순서 정렬 작업이 일반적인 문장 표현을 학습하는 데 유용한 자기지도 목적함수로 기능할 수 있는가?
• RQ3 모델이 주제 진행이나 주제 중심성과 같은 고수준의 논의 구조를 어느 정도 포착할 수 있는가?
• RQ4 학습된 문장 표현이 후속 의미 작업에서 최신 기술 수준의 사전 훈련 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 모델은 두 가지 벤치마크 순서 식별 데이터셋에서 최신 기술 수준의 성능를 달성하며, 고전적이고 최근의 데이터 기반 베이스라인을 모두 능가한다.
• 과학 논문 초록의 순서 정렬이라는 새로운 작업에서, 모델은 이전 작업보다 유의미하게 뛰어난 성능를 보이며 실제 텍스트 구조로의 강력한 일반화 능력을 입증한다.
• 학습된 표현의 시각화 결과는 모델이 명시적인 지도 없이도 주제 진행과 개체 지속성과 같은 고수준의 논의 구조를 포착하고 있음을 보여준다.
• 모델의 문장 표현은 문장 유사성 및 대체문 감지 작업에서 스킵-스토리 등 비지도 사전 훈련 방법과 비교해 유사한 성능를 보인다.
• 기울기 중요도 분석 결과, 모델은 논의 마커(예: 'first', 'second')와 구조적 어구(예: 'We present')에 주목하는 것으로 나타나 중심 이론과 일관성 원칙과 일치한다.
• 모델의 표현을 보통의 단어 집합 및 스킵-스토리 특징과 조합하면 성능이 더욱 향상되며, 이는 상호 보완적인 의미 신호가 있음을 시사한다.