[논문 리뷰] Improved Document Modelling with a Neural Discourse Parser

Fajri Koto, Jey Han Lau외 1명|arXiv (Cornell University)|2019. 11. 16.

Topic Modeling참고 문헌 17인용 수 4

한 줄 요약

이 논문은 문단 수준의 구조적 관계를 포착하기 위해 문장 구조 이론(Rhetorical Structure Theory, RST) 기반 신경 회귀 분석을 사용하여 문서 표현을 향상시키는 것을 제안한다. 문서는 기본 분석 단위로 간주되는 원소적 의사소통 단위(EDUs)로 모델링되며, 이는 추상적 요약 및 온라인 청원 인기 예측에서 주목할 만한 성능 향상을 이끌어내며, 어텐션 메커니즘을 넘어서서도 구조적 관계를 명시적으로 모델링한다.

ABSTRACT

Despite the success of attention-based neural models for natural language generation and classification tasks, they are unable to capture the discourse structure of larger documents. We hypothesize that explicit discourse representations have utility for NLP tasks over longer documents or document sequences, which sequence-to-sequence models are unable to capture. For abstractive summarization, for instance, conventional neural models simply match source documents and the summary in a latent space without explicit representation of text structure or relations. In this paper, we propose to use neural discourse representations obtained from a rhetorical structure theory (RST) parser to enhance document representations. Specifically, document representations are generated for discourse spans, known as the elementary discourse units (EDUs). We empirically investigate the benefit of the proposed approach on two different tasks: abstractive summarization and popularity prediction of online petitions. We find that the proposed approach leads to substantial improvements in all cases.

연구 동기 및 목표

• 긴 문서에서 어텐션 기반 모델이 의사소통 구조를 포착하는 데에 한계가 있음을 해결하기 위해.
• 명시적인 의사소통 표현이 문서 수준의 NLP 작업 성능을 향상시키는지 조사하기 위해.
• RST 기반의 회귀 분석이 순서 모델링 작업에서 문서 표현을 향상시키는 데에 유용한지 탐색하기 위해.
• 의사소통 인식 표현이 추상적 요약 및 온라인 청원의 인기 예측에 미치는 영향을 평가하기 위해.

제안 방법

• 이 방법은 문서에서 문장 구조 이론(Rhetorical Structure Theory, RST) 관계를 추출하기 위해 신경 회귀 분석기를 사용하며, 분석의 기본 단위로 원소적 의사소통 단위(EDUs)를 식별한다.
• 문서 표현은 각 EDU별로 생성되며, 의사소통 인식 인코딩을 통해 국소적이고 상호관계 있는 의사소통 구조를 포착한다.
• 의사소통 인식 표현은 추상적 요약 및 인기 예측 작업을 위한 후행 모델에 통합된다.
• 표준 순서-순서 어텐션 메커니즘을 대체하거나 보완하여 장거리 의존성을 개선하기 위해 의사소통 기반 표현을 사용한다.
• 모델은 문서 수준 작업에서 엔드 투 엔드로 훈련되며, 의사소통 구조가 일반화를 향상시키기 위한 인덕티브 바이어스로 기능한다.
• 이 방법은 추상적 요약 및 온라인 청원 인기 예측이라는 두 가지 다른 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 RST를 통해 표현된 의사소통 구조는 신경 모델에서 문서 수준의 표현 학습을 향상시키는가?
• RQ2 의사소통 인식 표현을 통합할 경우, 표준 어텐션 기반 모델에 비해 추상적 요약 성능이 향상되는가?
• RQ3 의사소통 구조는 온라인 청원 인기 예측에 얼마나 기여하는가?
• RQ4 의사소통 인식 표현은 문서-요약 관계를 모델링할 때 잠재 공간 매칭과 비교해 어떻게 다른가?
• RQ5 의사소통 분석은 장문의 문서에서 순서 모델링을 위한 일반적인 보완 기법이 될 수 있는가?

주요 결과

• 제안된 의사소통 인식 표현 방법은 추상적 요약 작업에서 상당한 성능 향상을 이끌어낸다.
• 이 방법은 온라인 청원의 인기 예측에서 뚜렷한 성과 향상을 이끌어내어 문서의 구조와 의도를 더 잘 모델링하고 있음을 시사한다.
• RST 기반의 의사소통 분석을 통합함으로써 어텐션 메커니즘만으로는 달성할 수 없는 수준의 문서 표현 향상이 가능하다.
• 의사소통 인식 모델은 원천 문서와 요약 사이의 잠재 공간 매칭에 의존하는 표준 순서-순서 모델보다 성능이 뛰어나다.
• 성능 향상은 추상적 요약과 인기 예측 모두에서 일관되게 관찰되며, 이는 제안된 접근의 일반화 가능성을 보여준다.