[논문 리뷰] Query-Focused Opinion Summarization for User-Generated Content

Lu Wang, Hema Raghavan외 2명|arXiv (Cornell University)|2016. 06. 17.

Topic Modeling참고 문헌 30인용 수 13

한 줄 요약

이 논문은 사용자 생성 콘텐츠에서 질의 중심 의견 요약을 위한 서브모듈러 함수 기반 프레임워크를 제안한다. 이 프레임워크는 통계적 관련성 랭킹, LDA를 통한 주제 커버리지, 그리고 산란 함수를 통한 다양성 통합을 포함한다. 자동 평가(ROUGE, Pyramid F1) 및 인간 평가에서 최신 기술을 능가하며, TAC-2008에서 인간 평가에서 57.1%의 선호도를 기록했고, ROUGE-2(0.3234)와 Pyramid F1(0.3620) 모두 유의하게 높은 성능을 달성했다.

ABSTRACT

We present a submodular function-based framework for query-focused opinion summarization. Within our framework, relevance ordering produced by a statistical ranker, and information coverage with respect to topic distribution and diverse viewpoints are both encoded as submodular functions. Dispersion functions are utilized to minimize the redundancy. We are the first to evaluate different metrics of text similarity for submodularity-based summarization methods. By experimenting on community QA and blog summarization, we show that our system outperforms state-of-the-art approaches in both automatic evaluation and human evaluation. A human evaluation task is conducted on Amazon Mechanical Turk with scale, and shows that our systems are able to generate summaries of high overall quality and information diversity.

연구 동기 및 목표

• 사용자 생성 콘텐츠에서 정보 과부하 문제를 해결하기 위해 특정 질의에 초점을 맞춘 간결하고 다양한 의견 요약을 생성하는 것.
• 학습된 문장 관련성과 주제 커버리지, 중복 감소를 통합함으로써 요약 품질을 향상시키는 것.
• 서브모듈러 요약 성능에 영향을 주는 다양한 텍스트 유사도 측정 방법의 영향을 평가하는 것.
• 커뮤니티 QA 및 블로그 데이터에서 자동 평가와 인간 평가 모두에서 프레임워크의 우수성을 입증하는 것.

제안 방법

• 프레임워크는 관련성(학습된 통계적 랭커를 통한), 주제 커버리지(LDA를 통한), 다양성(산란 함수를 통한)을 통합한 서브모듈러 목표 함수를 사용한다.
• 관련성은 질의 관련성과 주관성 특징을 기반으로 문장을 점수화하는 ListNet 기반 랭커를 통해 모델링된다.
• 주제 커버리지는 Yahoo! Answers에선 100개 주제, TAC-2008에선 40개 주제를 사용한 LDA를 통해 캡처되며, 요약 내 다양한 주제 표현을 가능하게 한다.
• 산란 함수는 선택된 문장 간 상호 거리의 합 또는 최소값을 사용하여 중복을 최소화한다.
• 유사도 측정 방법으로 어휘적(TF-IDF), 의미적(WordNet), 주제적(LDA) 유사도를 평가하여 다양성과 커버리지에 미치는 영향을 분석한다.
• 스케일이 가능하고 근사 최적 성능를 보장하는 근사 알고리즘을 사용해 서브모듈러 목표 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 학습된 문장 관련성 통합이 n-gram 겹침 대비 질의 중심 의견 요약 품질에 어떻게 기여하는가?
• RQ2 중복 최소화와 다양성 극대화를 위해 산란 함수와 유사도 측정 방법의 최적 조합은 무엇인가?
• RQ3 어휘적, 의미적, 주제적 유사도 측정 방법(각각 TF-IDF, WordNet, LDA)이 서브모듈러 요약 품질에 어떻게 영향을 미치는가?
• RQ4 제안된 프레임워크가 자동 평가와 인간 평가 모두에서 최신 기술을 능가하는가?

주요 결과

• TAC-2008 블로그 데이터셋에서 ROUGE-2 점수는 0.3234를 기록했으며, 최고의 TAC’08 시스템(0.2923)과 모든 베이스라인(유의수준 p < 0.05)을 뛰어넘었다.
• 아마존 메카니컬 터크에서의 인간 평가에서 시스템은 57.1%의 선호도를 기록했으며, Yahoo! 사용자가 선택한 최고의 답변(31.9%)보다 높았다.
• Pyramid F1 점수는 0.3620으로, 최고의 TAC’08 시스템(0.2225)과 다음 베이스라인(0.2790)보다 유의미하게 높았다.
• TF-IDF 기반 유사도는 어휘 커버리지와 다양성 측정 모두에서 WordNet 기반 의미 유사도를 일관되게 뛰어넘었다.
• 산란 함수의 경우, Yahoo! Answers에서는 거리의 합 함수(h_sum)가 최소거리 함수(h_min)보다 우수했지만, TAC-2008에선 반대로 h_min이 더 우수했으며, 이는 장르에 따라 최적의 설계가 달라질 수 있음을 시사한다.
• 블로그 데이터에서 주제 유사도가 어휘적 및 의미적 측정 방법보다 약간 뛰어나, 주제 모델링이 장문의 콘텐츠에서 다양성을 향상시킬 수 있음을 시사한다.