[논문 리뷰] Want a Good Answer? Ask a Good Question First!

Yuan Yao, Hanghang Tong외 4명|arXiv (Cornell University)|2013. 11. 27.

Expert finding and Q&A systems참고 문헌 24인용 수 33

한 줄 요약

이 논문은 Stack Overflow와 같은 커뮤니티 질문-답변(CQA) 플랫폼에서 질문과 답변의 품질을 공동으로 예측하는 CoPs라는 공예법 가족을 제안한다. 질문과 답변 품질 간 강한 정적 상관관계를 활용하여, 특징, 예측된 품질, 상호의존성을 동시에 모델링함으로써 기존 최고 수준의 방법보다 예측 오차가 최대 13.13% 낮아지며, 데이터 크기에 따라 선형적으로 확장된다.

ABSTRACT

Community Question Answering (CQA) websites have become valuable repositories which host a massive volume of human knowledge. To maximize the utility of such knowledge, it is essential to evaluate the quality of an existing question or answer, especially soon after it is posted on the CQA website. In this paper, we study the problem of inferring the quality of questions and answers through a case study of a software CQA (Stack Overflow). Our key finding is that the quality of an answer is strongly positively correlated with that of its question. Armed with this observation, we propose a family of algorithms to jointly predict the quality of questions and answers, for both quantifying numerical quality scores and differentiating the high-quality questions/answers from those of low quality. We conduct extensive experimental evaluations to demonstrate the effectiveness and efficiency of our methods.

연구 동기 및 목표

• 커뮤니티 질문-답변(CQA) 플랫폼에서 질문 품질과 답변 품질 간 상관관계를 조사하는 것.
• 기존 품질 예측 방법이 질문과 답변을 별개로 다루는 한계를 해결하는 것.
• 질문과 답변 품질 간 상호의존성을 활용하여 정확도를 향상시키는 공동 예측 프레임워크를 개발하는 것.
• 더 나은 모더레이션, 추천 및 검색 순위 조정을 위해 고품질 및 저품질 게시물을 조기에 탐지할 수 있도록 하는 것.

제안 방법

• 공유된 특징과 상호 품질 의존성으로 질문과 답변을 공동으로 모델링하는 CoPs라는 공예법 가족을 제안한다.
• 통합 프레임워크 내에서 수치적 품질 점수와 이진 분류(고품질 대 비고품질)를 모두 통합한다.
• 질문과 답변 간 상호상관관계를 기반으로 예측을 동시에 예측하고 개선하는 공동 최적화 접근법을 사용한다.
• Stack Overflow의 텍스트, 구조적, 사회적 메타데이터(예: 신뢰도, 편집 이력, 답변 수)에 대한 특징 공학을 적용한다.
• 데이터 크기에 비례해 성능이 유지되는 선형 확장성 설계를 적용한다.
• 실세계 CQA 데이터에서 모델를 훈련하고 검증하기 위해 인간이 레이블링한 품질 레이블을 활용한다.

실험 결과

연구 질문

• RQ1 CQA 플랫폼에서 질문의 품질과 관련된 답변의 품질 간 통계적으로 유의미한 상관관계가 존재하는가?
• RQ2 질문과 답변 품질을 함께 모델링하는 것이 별개로 예측하는 것보다 정확도를 향상시킬 수 있는가?
• RQ3 제안된 공예법 프레임워크는 실세계 CQA 데이터에서 효과성과 효율성 측면에서 어떻게 성능을 발휘하는가?
• RQ4 품질 예측 작업에서 흔히 발생하는 희소 레이블링 상황에서 이 방법은 어느 정도의 성능을 발휘할 수 있는가?

주요 결과

• Stack Overflow에서 질문 품질과 답변 품질 간 강한 정적 상관관계가 존재하며, 고품질 질문은 일관되게 고품질 답변을 유도한다.
• 제안된 CoPs 프레임워크는 수치적 및 이진 품질 예측 작업에서 기존 최고 수준의 방법보다 최대 13.13% 예측 오차가 낮아졌다.
• 질문과 답변의 수에 비례해 선형적으로 확장되어 대규모 CQA 플랫폼에 적합하다.
• 인간이 레이블링한 레이블 수가 제한되어 있어도 CoPs는 질문과 답변 간 품질 의존성을 활용하여 데이터 희소성을 효과적으로 완화한다.
• 공동 예측은 별개 예측 모델보다 뚜렷이 뛰어나, 상호의존성 모델링의 가치를 확인한다.
• 프레임워크는 초기 단계의 품질 예측을 가능하게 하여, 적시 모더레이션, 전문가 라우팅 및 향상된 검색 순위 조정을 지원한다.