[논문 리뷰] Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking

Masaru Isonuma, Junichiro Mori외 1명|arXiv (Cornell University)|2019. 06. 13.

Topic Modeling참고 문헌 42인용 수 4

한 줄 요약

이 논문은 외부 파서 없이 잠재적 논리적 트리를 유도함으로써, 제품 리뷰의 단일 문서 개별 요약을 위한 비지도 신경망 모델인 StrSum을 제안한다. 부모 문장을 자식 문장으로부터 재구성하고, DiscourseRank를 사용해 핵심 문장을 우선순위화함으로써, 전체 리뷰를 개괄적으로 요약하는 고품질 요약을 생성한다. 이는 비지도 방법보다 뛰어나고, 장문의 리뷰에서는 지도 학습 모델과 경쟁하거나 그 이상의 성능을 보인다.

ABSTRACT

This paper focuses on the end-to-end abstractive summarization of a single product review without supervision. We assume that a review can be described as a discourse tree, in which the summary is the root, and the child sentences explain their parent in detail. By recursively estimating a parent from its children, our model learns the latent discourse tree without an external parser and generates a concise summary. We also introduce an architecture that ranks the importance of each sentence on the tree to support summary generation focusing on the main review point. The experimental results demonstrate that our model is competitive with or outperforms other unsupervised approaches. In particular, for relatively long reviews, it achieves a competitive or better performance than supervised models. The induced tree shows that the child sentences provide additional information about their parent, and the generated summary abstracts the entire review.

연구 동기 및 목표

• 새로운 도메인에서 지도 학습 요약을 위해 참조 요약을 생성하는 데 드는 높은 비용을 해결하기 위해.
• 인간이 애너테이션한 요약 없이도 단일 제품 리뷰에 대해 종단간 추상적 요약을 가능하게 하기 위해.
• 자식 문장이 부모 문장을 설명하는 방식으로 리뷰를 잠재적 논리적 트리로 모델링함으로써 계층적 개괄을 가능하게 하기 위해.
• 논리적 구조의 깊이를 기반으로 문장 중요도를 순위 매김함으로써 요약 품질을 향상시키기 위해 (DiscourseRank를 활용).
• 지도 학습 없이도 지도 학습 모델과 경쟁 가능한 성능을 달성하고, 특히 장문의 리뷰에서 뛰어난 성능을 보이기 위해.

제안 방법

• StrSum는 양방향 GRU 인코더를 사용해 자식 문장으로부터 부모 문장을 재구성함으로써, 종단간으로 잠재적 논리적 트리를 유도한다. 문장 표현은 최대 풀링을 통해 추출된다.
• 모델는 재구성 손실을 통해 언어 모델을 학습함으로써, 자식 문장으로부터 부모 문장을 생성하도록 훈련된다.
• DiscourseRank는 유도된 트리 내에서 자식 노드의 수를 기반으로 문장 중요도 점수를 할당하여 중심 노드를 강조한다.
• 요약은 유도된 논리적 트리의 루트에서 생성되며, 이는 전체 리뷰의 핵심 포인트를 나타낸다.
• 문장 임베딩은 은닉 상태에 대해 최대 풀링을 적용한 양방향 GRU를 통해 계산되며, 문맥적 표현을 캡처한다.
• 외부 논리적 파서를 피하고, 재구성 과정을 통해 데이터로부터 직접적으로 논리적 구조를 학습한다.

실험 결과

연구 질문

• RQ1 외부 파서 없이도 비지도 모델이 단일 제품 리뷰에 대해 의미 있는 잠재적 논리적 구조를 유도할 수 있는가?
• RQ2 자식 문장을 기반으로 부모 문장을 재구성하는 방식이 기존 비지도 방법보다 더 나은 추상적 요약을 이끌어낼 수 있는가?
• RQ3 논리적 구조 깊이(즉, DiscourseRank를 통한)가 요약 생성을 위한 주요 리뷰 포인트를 효과적으로 식별할 수 있는가?
• RQ4 모델은 지도 학습 기반 모델 대비 장문의 리뷰에서 어떻게 성능을 발휘하는가?
• RQ5 유도된 논리적 트리가 문장 간 일관된 계층적 관계를 드러낼 수 있는가?

주요 결과

• StrSum는 장문의 리뷰에서 특히 비지도 모델보다 뛰어난 성능을 보이며, 단일 문서 리뷰 요약에서 뛰어난 성능을 발휘한다.
• 장문의 리뷰에서 StrSum는 지도 학습 모델과 경쟁하거나 그 이상의 성능을 달성하여 강력한 일반화 능력을 입증한다.
• 유도된 논리적 트리는 StrAtt와 같은 지도 학습 기반 기준보다 더 깊고 복잡하며, 평균 높이가 더 높다 (예: 장난감 및 게임 분야에서 3.06), 더 풍부한 계층적 구조를 나타낸다.
• DiscourseRank는 평가적 문장을 높은 중요도의 노드로 성공적으로 식별하여, 주요 리뷰 포인트에 집중하는 데 기여한다 (예: 고글 리뷰에서 품질 문제 강조).
• 실패 사례에서는 모델이 요소들을 잘못 우선순위를 매기는데, 예를 들어 영상 품질을 음향 품질보다 우선시함으로써, 유사한 트리 깊이를 가진 대비되는 요소들에 대해 한계를 드러낸다.
• 모델는 전체 리뷰를 요약하는 요약을 생성하며, 자식 문장이 부모 문장을 설명하는 세부 정보를 제공함으로써 논리적 구조 가정의 타당성을 확인한다.