[논문 리뷰] Neural Net Models for Open-Domain Discourse Coherence

Jiwei Li, Dan Jurafsky|arXiv (Cornell University)|2016. 06. 05.

Topic Modeling참고 문헌 62인용 수 17

한 줄 요약

이 논문은 개방 도메인 내역의 논리적 일관성에 대해 도메인 독립적인 신경망 모델을 제안하며, 평가 및 일관된 텍스트 생성을 위한 판별적 및 생성적 접근 방식을 사용한다. 문장 순서 정렬과 텍스트 생성을 향상시키기 위해 새로운 잠재변수 마르코프 생성 모델을 도입하여, 전체 단락 재정렬을 포함한 개방 도메인 일관성 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Discourse coherence is strongly associated with text quality, making it important to natural language generation and understanding. Yet existing models of coherence focus on measuring individual aspects of coherence (lexical overlap, rhetorical structure, entity centering) in narrow domains. In this paper, we describe domain-independent neural models of discourse coherence that are capable of measuring multiple aspects of coherence in existing sentences and can maintain coherence while generating new sentences. We study both discriminative models that learn to distinguish coherent from incoherent discourse, and generative models that produce coherent text, including a novel neural latent-variable Markovian generative model that captures the latent discourse dependencies between sentences in a text. Our work achieves state-of-the-art performance on multiple coherence evaluations, and marks an initial step in generating coherent texts given discourse contexts.

연구 동기 및 목표

• 개방 도메인 텍스트 전반에서 어휘적, 참조적, 시간적, 인과적 요소를 포함한 다수의 내역 일관성 측면을 측정할 수 있는 신경망 모델을 개발하는 것.
• 기존 모델이 좁은 도메인에 국한되어 있으며 기존 텍스트의 점수만 부여하는 한계를 보완하기 위해, 일관된 내역을 종단 간 생성할 수 있도록 하는 것.
• 문장 간 숨겨진 내역적 종속성을 포착하는 잠재변수 생성 모델을 도입하여 생성된 텍스트의 일관성 향상시키는 것.
• 전체 단락 문장 재정렬과 같은 도전적인 개방 도메인 작업에서 모델을 평가함으로써, 단순한 문장 쌍 순서 정렬을 넘어서는 것.
• NLP 분야에서 향후 내역 인식 텍스트 생성 및 평가 작업의 기반을 마련하는 것.

제안 방법

• 판별적 모델은 연속된 문장 쌍의 LSTM 인코딩 문장 표현을 사용하여, 일관된 내역과 일관되지 않은 내역을 구분하는 분류기에 입력되며, 무작위 문장 교체로 생성된 부정 예시를 포함한다.
• 생성적 모델은 문장 간 내역 수준의 종속성을 모델링하기 위해 마르코프 체인으로 구조화된 신경망 잠재변수를 통합한 인코더-디코더 프레임워크를 사용한다.
• 인간이 생성한 텍스트와 기계가 생성한 텍스트를 구별하는 히에라르키컬 신경망 모델을 적대적 평가자로 사용하여 학습 안정성과 일관성 향상을 도모한다.
• 모델은 HMM-LDA 주제 모델과 종단 간 마르코프 구조의 잠재변수를 통합하여 내역 구조를 포착하고 생성 품질을 향상시킨다.
• 문장 표현은 LSTMs를 통해 학습되며, 단어 표현은 K차원 벡터로 매핑되고, 최종 은닉 상태가 문장 수준의 표현으로 사용된다.
• 일관성 점수는 문장 표현을 연결한 후 피드포워드 네트워크에 적용한 스칼라 출력으로 계산되며, 분류를 위해 시그모이드 활성화 함수를 사용한다.

실험 결과

연구 질문

• RQ1 신경망 모델이 좁은 도메인 중심의 설정을 넘어서 개방 도메인 내역 일관성 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 기존 텍스트의 점수만 부여하는 것이 아니라, 새로운 텍스트를 생성할 때 내역 일관성을 효과적으로 학습하고 유지할 수 있는가?
• RQ3 잠재변수 모델이 실체 중심화, 시간 순서, 인과 관계와 같은 숨겨진 내역 종속성을 얼마나 잘 포착할 수 있는가?
• RQ4 제안된 모델이 전체 단락 문장 재정렬과 같은 도전적인 작업에서 기존 방법을 초월할 수 있는가?
• RQ5 모델의 일관성 점수가 어휘 결속성과 참조 연속성과 같은 미묘한 내역 현상을 얼마나 잘 반영할 수 있는가?

주요 결과

• 판별적 모델은 표준 도메인 특화 문장 쌍 순서 정렬 벤치마크에서 96%의 정확도를 기록하여 좁은 도메인에서 뛰어난 성능을 보였다.
• 개방 도메인 환경에서는 광범위한 의미 공간에서의 음성 샘플 커버리지가 부족하여 판별적 모델의 성능이 떨어졌다.
• 마르코프 구조의 잠재변수를 갖는 생성적 모델은 생성된 텍스트의 일관성에 상당한 향상을 이끌어내어 기준 모델을 압도했다.
• 대규모 개방 도메인 문장 재정렬 작업에서 최고의 성능을 기록하여, 단락 내 모든 문장을 정확한 순서로 재구성하는 데 성공했다.
• 정성적 분석 결과, 모델은 어휘적·참조적으로 일관된 문장 쌍에 더 높은 일관성 점수를 할당하고, 일관되지 않거나 의미가 맞지 않는 쌍에는 낮은 점수를 할당하는 것으로 나타났다.
• 적대적 평가자는 성공률 0.081을 기록하여 인간이 생성한 대화와 기계가 생성한 대화를 90% 이상의 정확도로 구별할 수 있었으며, 이는 모델이 인간 수준의 일관성을 생성할 수 있음을 검증한다.