[논문 리뷰] QDEE: Question Difficulty and Expertise Estimation in Community Question Answering Sites

Jiankai Sun, Sobhan Moosavi외 2명|arXiv (Cornell University)|2018. 03. 31.

Expert finding and Q&A systems참고 문헌 4인용 수 6

한 줄 요약

이 논문은 경쟁 그래프 모델과 사회적 고통(social agony)을 활용하여 계층적 전문성 성장을 포착함으로써, 언어에 관계없이 질문의 난이도와 사용자 전문성 수준을 동시에 추정하는 언어 독립적 프레임워크 QDEE를 제안한다. 사용자의 진화하는 질문 제기 패턴과 텍스트 특징을 활용함으로써 QDEE는 냉시작 난이도 추정과 질문 라우팅을 향상시키며, 라우팅 정확도에서 최대 45%의 히트 레이트를 달성하여 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we present a framework for Question Difficulty and Expertise Estimation (QDEE) in Community Question Answering sites (CQAs) such as Yahoo! Answers and Stack Overflow, which tackles a fundamental challenge in crowdsourcing: how to appropriately route and assign questions to users with the suitable expertise. This problem domain has been the subject of much research and includes both language-agnostic as well as language conscious solutions. We bring to bear a key language-agnostic insight: that users gain expertise and therefore tend to ask as well as answer more difficult questions over time. We use this insight within the popular competition (directed) graph model to estimate question difficulty and user expertise by identifying key hierarchical structure within said model. An important and novel contribution here is the application of "social agony" to this problem domain. Difficulty levels of newly posted questions (the cold-start problem) are estimated by using our QDEE framework and additional textual features. We also propose a model to route newly posted questions to appropriate users based on the difficulty level of the question and the expertise of the user. Extensive experiments on real world CQAs such as Yahoo! Answers and Stack Overflow data demonstrate the improved efficacy of our approach over contemporary state-of-the-art models. The QDEE framework also allows us to characterize user expertise in novel ways by identifying interesting patterns and roles played by different users in such CQAs.

연구 동기 및 목표

• 커뮤니티 질문 응답(CQA) 플랫폼에서 질문을 적절한 전문성을 지닌 사용자에게 라우팅하는 데 도전하는 것.
• 사용자 전문성 진행 패턴과 텍스트 특징을 활용하여 신규 게시된 질문의 난이도를 추정함(냉시작 문제).
• 방향성 있는 경쟁 그래프에서 사용자 전문성과 질문 난이도를 계층적 구조로 모델링하는 것.
• 질문 난이도와 사용자 전문성 수준을 매칭시켜 질문 라우팅을 향상시키는 것.
• 난이도 수준 히스토GRAM과 군집화를 통해 사용자 답변 행동 패턴을 특성화하는 것.

제안 방법

• 하향에서 상향으로의 진행을 나타내는 간선을 갖는 방향성 있는 경쟁 그래프로 사용자 전문성과 질문 난이도를 모델링함.
• 경쟁 그래프 내 계층 위반에 대한 벌점으로 사회적 고통을 적용하여 난이도 및 전문성 추정을 최적화함.
• 전문성 향상 가정(EGA)을 적용하여 사용자가 시간이 지남에 따라 더 어려운 질문을 제기하고 답변함으로써 단조로운 진행을 이룹니다.
• 텍스트 특징(예: 제목, 본문, 태그)과 결합된 EGA를 활용하여 새로운 질문의 난이도를 하이브리드 모델로 추정함.
• 답변한 질문의 난이도 히스토GRAM(박스 크기 = 3: 쉬움, 보통, 어려움)을 통해 사용자 프로필을 구성하여 행동 패턴을 식별함.
• 히스토GRAM 표현을 기반으로 k-평균 군집화를 수행하여 답변 선호도에 따라 사용자 유형(예: 올빼미, 참새)을 발견함.

실험 결과

연구 질문

• RQ1 CQA 플랫폼에서 질문 난이도와 사용자 전문성을 언어에 관계없이 동시에 추정할 수 있는 방법은 무엇인가요?
• RQ2 사용자 전문성이 시간이 지남에 따라 단조로운 진행을 보일 수 있다면, 이를 활용하여 난이도 추정과 라우팅을 향상시킬 수 있을까요?
• RQ3 사회적 고통이 CQA 플랫폼의 경쟁 그래프에서 계층적 구조를 모델링하는 데 얼마나 효과적인가요?
• RQ4 텍스트 특징과 추정된 난이도가 냉시작 난이도 추정에 얼마나 기여합니까?
• RQ5 사용자의 답변 행동과 난이도 선호도에 기반해 CQA 플랫폼에서 주로 나타나는 사용자 유형은 무엇인가요?

주요 결과

• QDEE 프레임워크는 새로운 질문을 적절한 사용자에게 라우팅하는 데 최대 45%의 히트 레이트를 달성하여 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 언어에 민감한 모델(예: QT)은 언어 독립적 접근보다 성능이 뛰어나지만, QDEE의 하이브리드 언어 독립적 및 텍스트 기반 접근 방식 역시 매우 효과적임.
• 질문 난이도를 사용자 전문성 수준과 매칭시키는 Q기반 라우팅 전략은 명성 또는 전문성 전용 전략보다 뛰어나며, 중간 수준의 전문가를 효과적으로 동원함.
• QT 모델의 파라미터 β는 0.6에서 0.8 사이로 설정할 때 가장 효과적이며, 이는 텍스트 및 난이도 특징 간 최적의 균형을 나타냄.
• Stack Overflow 사용자의 3%~10%만이 '올빼미'로 분류되며, 이는 어려운 질문을 선호하는 사용자임. 대부분의 사용자는 명성 획득을 위해 쉬운 질문에 집중하는 '참새' 유형임.
• 사용자 히스토GRAM 프로필의 군집화는 집중형 전문가, 전반적 전문가, 초보자와 같은 뚜렷한 행동 유형을 드러내며, 다양한 답변 선호도를 확인함.