[논문 리뷰] Neural Discourse Structure for Text Categorization

Yangfeng Ji, Noah A. Smith|arXiv (Cornell University)|2017. 02. 07.

Topic Modeling참고 문헌 28인용 수 12

한 줄 요약

이 논문은 자동으로 추출된 비판적 구조 이론(Rhetorical Structure Theory, RST)의 논의 트리를 활용하여 텍스트 분류 성능을 향상시키는 새로운 주목 메커니즘을 갖춘 재귀 신경망을 제안한다. 논의 구조를 의존성 트리로 모델링하고 주목가치 있는 논의 단위에 주목함으로써, 다섯 가지 텍스트 분류 과제 중 네 과제에서 최신 기술 성능을 달성하였으며, 해석 품질이 충분할 경우 논의 구조가 표현 학습을 향상시킬 수 있음을 보여준다.

ABSTRACT

We show that discourse structure, as defined by Rhetorical Structure Theory and provided by an existing discourse parser, benefits text categorization. Our approach uses a recursive neural network and a newly proposed attention mechanism to compute a representation of the text that focuses on salient content, from the perspective of both RST and the task. Experiments consider variants of the approach and illustrate its strengths and weaknesses.

연구 동기 및 목표

• 비판적 구조 이론(Rhetorical Structure Theory, RST)에 의해 정의된 논의 구조가 텍스트 분류 성능을 향상시키는지 조사하기.
• 논의 의존성 트리 위에 재귀 아키텍처를 사용하여 논의 구조를 통합하는 신경 모델 개발하기.
• RST의 핵심-위성 주목가치 계층을 반영하는 새로운 비정규화 주목 메커니즘 설계 및 평가하기.
• 논의 파서 품질과 도메인 불일치가 텍스트 분류 성능에 미치는 영향 평가하기.
• 논의 구조가 파서가 완벽하지 않은 경우에도 신경 텍스트 분류에 의미 있는 유도적 편향을 제공할 수 있는지 입증하기.

제안 방법

• 모델은 각 기본 논의 단위(EDU)를 분포 표현으로 인코딩하기 위해 양방향 LSTM을 사용한다.
• RST 파싱에서 유도된 논의 의존성 트리 위에 재귀 신경망을 구축하며, 각 내부 노드는 자식 노드 표현의 조합을 나타낸다.
• 새로운 비정규화 주목 메커니즘이 자식 노드의 논의 관계에 기반하여 중요도 점수를 계산하며, 핵심을 위성보다 우선시한다.
• 주목 메커니즘은 $\alpha_i = \mathbf{v}_j^\top \mathbf{W}_\alpha \mathbf{e}_i$로 정의되며, $\mathbf{v}_j$는 자식 노드의 은닉 상태이고 $\mathbf{e}_i$는 EDU 임베딩이다.
• 최종 문서 표현은 트리의 루트에서 유도되며, 소프트맥스 레이어를 통해 분류에 사용된다.
• 모델은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 다섯 가지 텍스트 분류 과제에서 평가된다.

실험 결과

연구 질문

• RQ1 RST 파싱에서 유도된 논의 구조가 다양한 텍스트 장르에서 텍스트 분류 성능을 향상시키는가?
• RQ2 RST의 핵심-위성 계층을 영감으로 삼은 제안된 비정규화 주목 메커니즘은 신경망의 정규화 주목 메커니즘과 비교해 어떻게 성능을 내는가?
• RQ3 논의 파서 품질이 논의 보강 텍스트 분류 모델의 성능에 어느 정도 영향을 미치는가?
• RQ4 어느 텍스트 장르에서 논의 구조가 가장 유용한가, 그리고 어느 곳에서 실패하는가?
• RQ5 파서가 완벽하지 않은 경우에도 논의 구조가 신경 텍스트 분류에 의미 있는 유도적 편향을 제공할 수 있는가?

주요 결과

• 제안된 모델은 다섯 가지 텍스트 분류 과제 중 네 과제에서 이전 연구를 능가하며, 71.8%의 정확도로 유이프 리뷰 데이터셋에서 최신 기술 성능을 달성했다.
• 비정규화 주목 메커니즘을 사용한 모델은 유이프 데이터셋에서 71.8%의 정확도를 기록했으며, 정규화 주목 메커니즘 버전(70.3% 정확도)을 능가하여, 정규화를 피하는 설계 선택이 타당하다는 것을 뒷받침한다.
• 미국 의회 법안 데이터셋에서의 성능은 열악했으며, 뉴스 도메인 파서에서 유도된 논의 구조가 법령 텍스트의 다른 비판적 관례를 잘 일반화하지 못한다는 것을 시사한다.
• 실험 결과 논의 파싱 품질이 분류 성능에 상당한 영향을 미치며, 논의 파싱 향상이 직접적으로 후속 텍스트 분류 성능 향상에 기여할 수 있음을 보여준다.
• 주목 메커니즘이 주목가치 있는 논의 단위를 성공적으로 식별하였으며, 논의 트리의 루트(일반적으로 핵심)가 분류에 가장 관련 있는 내용을 포괄하고 있음을 확인했다.
• 모델는 논의 구조가 표현 학습에 의미 있는 유도적 편향을 제공함을 보여주었으며, 네트워크가 문서의 중심적이고 정보성 있는 부분에 집중할 수 있도록 했다.