[논문 리뷰] Unsupervised Multi-Document Opinion Summarization as Copycat-Review Generation.

Arthur Bražinskas, Mirella Lapata외 1명|arXiv (Cornell University)|2019. 11. 06.

Topic Modeling참고 문헌 27인용 수 11

한 줄 요약

이 논문은 잠재 공간에서의 낙관성(novelty)을 최소화함으로써 유창하고 공감대 중심의 요약을 생성하는 계층적 변동 자동인코더(Hierarchical Variational Autoencoder)를 사용한 비지도 개괄적 다중문서 의견 요약 방법을 제안한다. 테스트 시기에는 리뷰의 잠재 코드를 평균으로 강제함으로써, 레이블이 없는 요약 데이터가 필요 없이도 공통된 의견을 반영하는 일관된 요약을 생성한다.

ABSTRACT

Opinion summarization is the task of automatically creating summaries that reflect subjective information expressed in multiple documents, such as product reviews. While the majority of previous work has focused on the extractive setting, i.e., selecting fragments from input reviews to produce a summary, we let the model generate novel sentences and hence produce abstractive summaries. Recent progress in summarization has seen the development of supervised models which rely on large quantities of document-summary pairs. Since such training data is expensive to acquire, we instead consider the unsupervised setting, in other words, we do not use any summaries in training. We define a generative model for a review collection which capitalizes on the intuition that when generating a new review given a set of other reviews of a product, we should be able to control the amount of going into the new review or, equivalently, vary the extent to which it deviates from the input. At test time, when generating summaries, we force the novelty to be minimal, and produce a text reflecting consensus opinions. We capture this intuition by defining a hierarchical variational autoencoder model. Both individual reviews and the products they correspond to are associated with stochastic latent codes, and the review generator (decoder) has direct access to the text of input reviews through the pointer-generator mechanism. Experiments on Amazon and Yelp datasets, show that setting at test time the review's latent code to its mean, allows the model to produce fluent and coherent summaries reflecting common opinions.

연구 동기 및 목표

• 비용이 많이 드는 지도 학습 데이터에 의존하는 경향이 있는 비지도 추상적 다중문서 의견 요약 방법의 부족을 보완하기 위해.
• 개별 리뷰와 제품을 모두 확률적 잠재 코드로 모델링하여 문서 간 공통된 의견을 포착하기 위해.
• 입력 리뷰에 접근할 수 있는 포인터-생성기 디코더를 활용하여 새로운 추상적 요약 문장을 생성하기 위해.
• 잠재 코드를 조작하여 생성된 리뷰의 낙관성 정도를 제어함으로써 테스트 시기에는 공감대 중심의 출력을 보장하기 위해.
• 잠재 코드를 평균으로 강제할 경우, 어떤 지도 학습 없이도 유창하고 일관된 요약을 생성하여 공통된 의견을 반영함을 입증하기 위해.

제안 방법

• 모델은 개별 리뷰와 그들이 속한 제품에 대해 확률적 잠재 코드를 사용하는 계층적 변동 자동인코더(HVAE)를 활용한다.
• 리뷰 생성기(디코더)는 포인터-생성기 메커니즘을 사용하여 입력 리뷰 텍스트에 주의를 기울이며, 이를 통해 입력에서 복사하거나 새로운 단어를 생성할 수 있다.
• 테스트 시기에는 리뷰의 잠재 코드가 그 평균으로 제약을 받음으로써 낙관성이 최소화되고 공감대 표현이 촉진된다.
• 모델은 데이터의 로그우도에 대한 변동 하한 bound를 최적화하여 입력 리뷰를 재구성하고 새로운 리뷰를 생성하도록 학습한다.
• 계층적 구조는 공유 잠재 변수를 통해 개별 리뷰 수준와 제품 수준의 감성 패턴을 모두 포착할 수 있도록 한다.
• 학습 과정에서 요약 주석이 전혀 필요 없어, 완전히 비지도 학습이 가능하다.

실험 결과

연구 질문

• RQ1 지식 기반 요약 데이터에 접근할 수 없는 비지도 생성 모델이 유창하고 일관된 추상적 의견 요약을 생성할 수 있는가?
• RQ2 생성된 리뷰의 잠재 코드를 제어할 경우, 출력 요약의 낙관성과 공감대 일치도에 어떤 영향을 미치는가?
• RQ3 계층적 변동 자동인코더는 비지도 설정에서 개별 리뷰와 제품 수준의 감성 패턴을 효과적으로 모델링할 수 있는가?
• RQ4 테스트 시기 리뷰의 잠재 코드를 평균으로 강제할 경우, 더 일관되고 공감대 중심의 요약이 도출되는가?
• RQ5 이러한 방법은 아마존과 유프의 다양한 도메인에 대해 얼마나 잘 일반화되는가?

주요 결과

• 모델은 레이블이 없는 요약 데이터가 전혀 필요 없이도 자연스럽고 일관된 추상적 요약을 생성하며, 비지도 추상적 의견 요약의 가능성에 대한 실현 가능성을 입증한다.
• 테스트 시기 리뷰의 잠재 코드를 평균으로 강제할 경우, 입력 리뷰 간 공통된 의견을 반영하는 요약을 생성한다.
• 계층적 VAE 구조는 공유 잠재 표현을 통해 개별 리뷰 수준와 제품 수준의 감성 패턴을 효과적으로 포착한다.
• 포인터-생성기 메커니즘은 입력 리뷰에서 복사하거나 필요한 경우 새로운 어휘를 생성할 수 있도록 함으로써 효과적인 콘텐츠 제어를 가능하게 한다.
• 아마존과 유프 데이터셋에서의 실험 결과, 모델은 자연스럽고 공통된 의견을 대표하는 요약을 생성한다.
• 지도 학습 미세조정이 없더라도 성능에 손상이 가지 않으며, 비지도 재구성 학습을 통해 의미 있는 요약을 생성하도록 학습한다.