[논문 리뷰] Modeling Ambiguity, Subjectivity, and Diverging Viewpoints in Opinion Question Answering Systems

Mengting Wan, Julian McAuley|arXiv (Cornell University)|2016. 10. 25.

Topic Modeling참고 문헌 15인용 수 5

한 줄 요약

이 논문은 각 질문에 대해 다수의 상이한 답변을 학습하여 주관성과 모호성을 명시적으로 모델링하는 믹스처 오브 엑스퍼트(MoE) 프레임워크를 제안한다. 아마존에서 확보한 80만 개의 질문과 310만 개의 답변을 활용하여, 이중 질문과 개방형 질문 모두에서 답변의 관련성을 향상시켰다. 다중 답변 학습이 단일 레이블 기반 모델보다 성능을 향상시키며, 특히 미묘한 의견 분포를 포착하는 데서 뚜렷한 효과를 보임을 입증하였다.

ABSTRACT

Product review websites provide an incredible lens into the wide variety of opinions and experiences of different people, and play a critical role in helping users discover products that match their personal needs and preferences. To help address questions that can't easily be answered by reading others' reviews, some review websites also allow users to pose questions to the community via a question-answering (QA) system. As one would expect, just as opinions diverge among different reviewers, answers to such questions may also be subjective, opinionated, and divergent. This means that answering such questions automatically is quite different from traditional QA tasks, where it is assumed that a single `correct' answer is available. While recent work introduced the idea of question-answering using product reviews, it did not account for two aspects that we consider in this paper: (1) Questions have multiple, often divergent, answers, and this full spectrum of answers should somehow be used to train the system; and (2) What makes a `good' answer depends on the asker and the answerer, and these factors should be incorporated in order for the system to be more personalized. Here we build a new QA dataset with 800 thousand questions---and over 3.1 million answers---and show that explicitly accounting for personalization and ambiguity leads both to quantitatively better answers, but also a more nuanced view of the range of supporting, but subjective, opinions.

연구 동기 및 목표

• 기존 QA 시스템이 단일 정답을 전제로 하므로, 제품 관련 질문 응답에서 주관적이고 모호하며 다양한 의견이 존재하는 문제를 해결하기 위해.
• 질문당 다수의 상충 가능한 답변을 고려하는 지도 학습 프레임워크를 개발하여 실제 세계의 의견 다양성을 반영하기 위해.
• 질문자 및 답변자의 선호도와 같은 개인화 요소를 의견 QA에 통합하여 관련성과 정확도를 향상시키기 위해.
• 커뮤니티 응답의 전반적인 스펙트럼을 반영하는 대규모 의견 QA 데이터셋을 구축하고 공개하기 위해.
• 단일 답변 기반 모델 대비 다중 답변 학습이 이중 질문과 개방형 질문 모두에서 모델 성능을 향상시키는지 평가하기 위해.

제안 방법

• 이중 질문을 위한 EM 유사한 믹스처 오브 엑스퍼트(MoE) 프레임워크를 제안하여, 각 질문에 대해 다수의 노이즈 있는 레이블(답변)을 모델링하고, 각 답변을 '노이즈 있는 전문가'로 간주하여 집계한다.
• 개방형 질문으로의 MoE 프레임워크 확장을 위해, 질문당 이용 가능한 모든 답변을 학습에 활용하고, 관련성 함수를 사용해 의견이 풍부한 리뷰 조각을 검색한다.
• 단일 기준 레이블이 아닌 전체 답변 분포를 최적화하는 다중 레이블 목적 함수를 도입하여 주관성에 대한 내성적 저항력을 향상시킨다.
• 주관적 특징(예: 감성, 극성)을 모델에 통합하여 그 성능에 미치는 영향을 평가하며, 특히 개방형 설정에서의 영향을 분석한다.
• 모델을 질문당 모든 답변을 기반으로 지도 학습으로 학습시키며, 순위 정확도 평가를 위해 AUC를 주요 평가 지표로 사용한다.
• 다양한 변형을 평가: s-MoE(단일 답변), m-MoE(다중 답변), m-MoE-S(다중 답변 + 주관적 특징)로 제품 카테고리 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 질문당 다수의 상이한 답변을 학습함으로써, 단일 답변 기반 모델 대비 의견 질문 응답 시스템의 성능 향상이 가능할까?
• RQ2 감성, 극성 등의 주관적 특징을 통합할 경우, 개방형 질문에서 관련 의견을 식별하는 데 모델의 능력에 어떤 영향을 미칠까?
• RQ3 다중 답변 학습이 주관적 또는 모호한 질문에서 의견 분포를 포착하는 데 얼마나 효과적인가?
• RQ4 제안된 프레임워크가 실제 세계에서 다양한 의견이 존재하는 상황에서 이중 질문과 개방형 질문 설정 모두에서 기존의 의견 QA 방법을 능가할까?
• RQ5 다양한 제품 카테고리에서 의견 다양성이 상이한 상황에서도 다중 답변 학습의 성능 향상 효과가 일관되게 유지되는가?

주요 결과

• 다중 답변 학습(m-MoE)은 모든 제품 카테고리에서 단일 답변 기반 모델(s-MoE) 대비 통계적으로 유의미한 AUC 성능 향상을 이끌어냈다.
• Patio, Lawn & Garden 카테고리에서는 m-MoE가 AUC 0.8737을 기록하여 s-MoE의 0.8640 대비 0.97% 향상된 성과를 보였다.
• 도구 및 홈 인테리어 카테고리에서는 m-MoE가 AUC 0.8760을 기록하여 s-MoE의 0.8676 대비 일관된 성능 향상을 보였다.
• 주관적 특징(m-MoE-S)을 통합했을 때 대부분의 카테고리에서 성능 향상이 없었으며, 이는 리뷰의 콘텐츠 기반 특징이 감성 레이블만으로는 더 예측력이 높을 수 있음을 시사한다.
• 헬스 및 퍼스널 케어 카테고리에서는 m-MoE가 AUC 0.8801을 기록하여 s-MoE 대비 1.04% 향상된 성과를 보였으며, 이는 매우 주관적인 도메인에서 강력한 성과 향상을 의미한다.
• 결과적으로 다중 답변 학습을 통한 모호성 모델링은 특히 개방형 질문과 주관적인 질문 형식에서 더 미묘하고 정확한 의견 검색을 가능하게 한다.