[논문 리뷰] Chaff from the Wheat : Characterization and Modeling of Deleted Questions on Stack Overflow

Denzil Correa, Ashish Sureka|arXiv (Cornell University)|2014. 01. 02.

Expert finding and Q&A systemsComputer Science인용 수 17

한 줄 요약

이 논문은 스택 오버플로우에서 삭제된 질문에 대한 첫 번째 대규모 연구를 제시하며, 사용자 프로필, 커뮤니티 행동, 콘텐츠, 구문 등 47개의 특징을 활용하여 그 특성과 예측 모델을 분석한다. 질문이 게시된 시점에 삭제를 예측하는 데 66%의 정확도를 달성하며, 플랫폼 내 저질 콘텐츠 패턴과 질문의 피라미드형 질적 구조에 대한 통찰을 제공한다.

ABSTRACT

Stack Overflow is the most popular CQA for programmers on the web with 2.05M users, 5.1M questions and 9.4M answers. Stack Overflow has explicit, detailed guidelines on how to post questions and an ebullient moderation community. Despite these precise communications and safeguards, questions posted on Stack Overflow can be extremely off topic or very poor in quality. Such questions can be deleted from Stack Overflow at the discretion of experienced community members and moderators. We present the first study of deleted questions on Stack Overflow. We divide our study into two parts (i) Characterization of deleted questions over approx. 5 years (2008-2013) of data, (ii) Prediction of deletion at the time of question creation. Our characterization study reveals multiple insights on question deletion phenomena. We observe a significant increase in the number of deleted questions over time. We find that it takes substantial time to vote a question to be deleted but once voted, the community takes swift action. We also see that question authors delete their questions to salvage reputation points. We notice some instances of accidental deletion of good quality questions but such questions are voted back to be undeleted quickly. We discover a pyramidal structure of question quality on Stack Overflow and find that deleted questions lie at the bottom (lowest quality) of the pyramid. We also build a predictive model to detect the deletion of question at the creation time. We experiment with 47 features based on User Profile, Community Generated, Question Content and Syntactic style and report an accuracy of 66%. Our feature analysis reveals that all four categories of features are important for the prediction task. Our findings reveal important suggestions for content quality maintenance on community based question answering websites.

연구 동기 및 목표

• 스택 오버플로우의 엄격한 가이드라인과 활발한 모더레이션에도 불구하고 삭제된 질문의 성격과 원인을 이해하기 위해.
• 질문 삭제의 패턴, 특히 시기, 투표 행동, 저자에 의한 자가 삭제를 규명하기 위해.
• 내용 품질 향상과 모더레이터의 부담 감소를 위해 질문 생성 시점에 저품질 질문을 사전에 식별할 수 있는 예측 모델을 개발하기 위해.
• 사용자 프로필, 커뮤니티 행동, 콘텐츠, 구문 등 다양한 특징 유형이 삭제 예측에 미치는 상대적 중요도를 분석하기 위해.

제안 방법

• 2008~2013년 동안 스택 오버플로우에서 수집한 470,096개 질문(삭제된 질문 235,048개, 삭제되지 않은 질문 235,048개)을 분석하였다.
• 47개의 예측 특징을 사용자 프로필, 커뮤니티 기반 신호, 질문 콘텐츠, 문법적 스타일의 네 가지 그룹으로 분류하였다.
• 기본 분류기로 결정 트리를 사용하고 SAMME.R 부스팅 알고리즘을 적용한 Adaboost를 활용한 앙상블 학습 방법을 사용하였다.
• 과적합을 방지하고 강건한 평가를 확보하기 위해 70-30% 훈련-테스트 분할과 10겹 교차검증을 실시하였다.
• F1 점수, 정확도, AUC를 사용하여 특징 집합을 단계적으로 추가함으로써 각 특징 집합의 예측 성능 기여도를 평가하였다.
• Adaboost의 특징 중요도 분석을 통해 네 가지 특징 카테고리 전반에서 가장 구분력 있는 특징을 특정하였다.

실험 결과

연구 질문

• RQ1 스택 오버플로우에서 질문 삭제와 관련된 시간적 추세와 행동 패턴은 무엇인가?
• RQ2 커뮤니티 투표와 저자에 의한 자가 삭제는 삭제 과정에 어떻게 영향을 미치며, 이러한 행동의 동기는 무엇인가?
• RQ3 스택 오버플로우에서 질문의 질 수준 간의 구조적 관계는 어떻게 되며, 삭제된 질문은 이 계층 구조에서 어디에 위치하는가?
• RQ4 사용자 프로필, 커뮤니티 행동, 콘텐츠, 구문 등 특징 조합 중 어느 것이 질문 삭제 여부를 가장 잘 예측하는가?
• RQ5 기계 학습 모델이 질문 생성 시점에 삭제를 얼마나 정확하게 예측할 수 있으며, 개별 특징 집합은 이 예측에 어떤 기여를 하는가?

주요 결과

• 스택 오버플로우에서 삭제된 질문의 수는 지난 5년간 유의미한 증가 추세를 보였으며, 특히 최근 2년간 급격히 증가하였다.
• 커뮤니티 구성원들은 삭제 투표에 상당한 시간을 소요하지만, 일관된 합의가 도출되면 실제 삭제 과정은 매우 빠르게 이루어진다.
• 저자들이 자신의 질문을 자주 삭제함으로써 실수로 잃은 명성 포인트를 회복하고자 하는 동기가 존재함을 시사하며, 이는 자가 삭제의 명성 기반 동기성을 반영한다.
• 고품질 질문이 실수로 삭제되는 경우가 있지만, 이를 빠르게 복구하기 위해 커뮤니티 투표를 통해 복구되는 경우가 많다.
• 스택 오버플로우에는 질문의 품질이 피라미드형으로 정렬되어 있으며, 삭제된 질문은 가장 낮은 계층(가장 낮은 품질)을 차지하고, 그 다음으로 폐쇄된 질문, 활성 질문의 순서로 이어진다.
• 예측 모델은 질문 생성 시점에 삭제 여부를 66%의 정확도로 식별할 수 있었으며, 특징 집합을 단계적으로 추가함에 따라 점진적인 성능 향상이 있었고, 네 가지 특징 유형 모두가 예측 성능에 상당한 기여를 하였다.