[논문 리뷰] OpinionDigest: A Simple Framework for Opinion Summarization

Yoshihiko Suhara, Xiaolan Wang외 2명|arXiv (Cornell University)|2020. 05. 05.

Topic Modeling참고 문헌 23인용 수 5

한 줄 요약

OpinionDigest는 리뷰에서 의견 어휘를 추출하기 위해 기반별 감성 분석을 활용하는 새로운 개방형 의견 요약 프레임워크이다. 이는 추출된 어휘들로부터 전체 리뷰를 재구성하기 위해 트랜스포머 모델을 훈련시킨다. 추론 단계에서는 리뷰들 사이에서 가장 인기 있는 의견들을 선택하고, 유창하고 정보적인 요약문을 생성하며, 상태의 기술을 달성한다. 또한 의견의 주제와 감성에 따라 필터링함으로써 제어 가능한 요약을 가능하게 한다.

ABSTRACT

We present OpinionDigest, an abstractive opinion summarization framework, which does not rely on gold-standard summaries for training. The framework uses an Aspect-based Sentiment Analysis model to extract opinion phrases from reviews, and trains a Transformer model to reconstruct the original reviews from these extractions. At summarization time, we merge extractions from multiple reviews and select the most popular ones. The selected opinions are used as input to the trained Transformer model, which verbalizes them into an opinion summary. OpinionDigest can also generate customized summaries, tailored to specific user needs, by filtering the selected opinions according to their aspect and/or sentiment. Automatic evaluation on Yelp data shows that our framework outperforms competitive baselines. Human studies on two corpora verify that OpinionDigest produces informative summaries and shows promising customization capabilities.

연구 동기 및 목표

• 훈련에 골드 스탠다드 요약문이 필요하지 않은 프레임워크를 개발하여 의견 요약 분야에서 골드 스탠다드 요약의 부족 문제를 해결한다.
• 다수의 리뷰에 걸쳐 의견의 인기도를 명시적으로 모델링하여 요약 품질을 향상시킨다.
• 주제와 감성에 따라 의견을 필터링함으로써 제어 가능한 요약을 가능하게 한다.
• 엔드 투 엔드 오토에코더 모델의 대안으로 파이프라인 기반 접근을 제안하여 해석 가능성과 제어성을 향상시킨다.
• 성능 저하 없이 대량의 리뷰로부터 고품질의 개방형 요약문을 생성한다.

제안 방법

• 개별 리뷰에서 의견 어휘, 감성 극성, 주제 카테고리 등을 사전 훈련된 ABSA 모델을 사용해 추출한다.
• 유사한 의견 어휘들을 군집화하기 위해 탐욕적 클러스터링 알고리즘을 적용하여 의견 집합의 중복을 줄인다.
• 빈도 기반 순위를 사용해 병합된 클러스터에서 가장 인기 있는 의견들을 선택하며, 주제 또는 감성에 따라 선택적으로 필터링할 수 있다.
• 선택된 의견 어휘들로부터 원본 리뷰를 재구성하기 위해 트랜스포머 기반의 시퀀스 투 시퀀스 모델을 훈련시키며, 재구성 손실을 사용한다.
• 선택된 의견들을 훈련된 생성 모델에 입력하여 최종적인 의견 요약문을 생성한다.
• 사용자가 생성 전에 입력 의견을 주제와/또는 감성에 따라 필터링할 수 있도록 사용자 정의 가능한 요약을 지원한다.

실험 결과

연구 질문

• RQ1 골드 스탠다드 요약문에 의존하지 않는 프레임워크가 여전히 고품질의 개방형 의견 요약문을 생성할 수 있는가?
• RQ2 의견의 인기도를 명시적으로 모델링하면 엔드 투 엔드 오토에코딩 접근 방식보다 더 정보가 풍부하고 일관성 있는 요약문을 생성할 수 있는가?
• RQ3 주제와 감성에 따라 의견을 필터링함으로써 제어 가능한 요약문을 생성할 수 있는가?
• RQ4 OpinionDigest의 성능은 자동 평가와 인간 평가 모두에서 추출형 및 개방형 기준 모델과 비교해 어떻게 나타나는가?
• RQ5 대량의 리뷰를 처리할 경우 프레임워크가 강력한 요약 품질을 유지하는가?

주요 결과

• Yelp 데이터셋을 사용한 자동 평가에서 OpinionDigest는 모든 베이스라인 방법보다 높은 ROUGE 및 BERTScore 지표를 기록하여 승리했다.
• 인간 평가에서 OpinionDigest는 정보성(85.2)과 일관성(82.7)에서 가장 높은 점수를 기록했으며, LexRank와 MeanSum을 크게 앞섰다.
• OpinionDigest의 요약문 문장 중 68.5%가 입력 리뷰에 의해 완전히 또는 부분적으로 지지되었으며, 이는 MeanSum의 52.3%보다 더 강한 사실적 일관성을 보여주었다.
• 제어 가능한 요약문 중 46.6%는 지정된 주제만을 다루었고, 실패한 경우는 10.3%에 불과하여 강력한 맞춤형 기능을 입증했다.
• 이전 방법들이 리뷰 표현을 평균화하는 데서 성능 저하를 겪는 것과 달리, OpinionDigest는 100개 이상의 리뷰로부터도 고품질의 요약문을 생성하며 성능 저하 없이 작동했다.
• 정성적 분석을 통해 OpinionDigest는 입력 리뷰에 중복되거나 잘못된 의견 추출이 포함되어 있어도 여전히 자연스럽고 개방형 요약문을 생성할 수 있음을 확인했다.