[논문 리뷰] Characterizing and curating conversation threads: Expansion, focus, volume, re-entry

Lars Bäckström, Jon Kleinberg외 2명|arXiv (Cornell University)|2013. 04. 16.

Speech and dialogue systems인용 수 42

한 줄 요약

이 논문은 네트워크 구조, 댓글 시간 배치, 사용자 고유성 등의 특징을 사용하여 온라인 토론 스레드의 길이와 사용자 재참여를 예측하기 위한 학습 기반 방법을 제안한다. 장시간 지속되는 스레드에서는 집중형(적은 활성 사용자) 또는 확장형(많은 일회성 댓글자)이라는 이중분포가 존재하며, 특히 페이스북과 위키백과 데이터에서 이러한 특징을 활용할 경우 스레드 길이 및 재참여 예측 성능이 크게 향상됨을 보여준다.

ABSTRACT

Discussion threads form a central part of the experience on many Web sites, including social networking sites such as Facebook and Google Plus and knowledge creation sites such as Wikipedia. To help users manage the challenge of allocating their attention among the discussions that are relevant to them, there has been a growing need for the algorithmic curation of on-line conversations --- the development of automated methods to select a subset of discussions to present to a user. Here we consider two key sub-problems inherent in conversational curation: length prediction --- predicting the number of comments a discussion thread will receive --- and the novel task of re-entry prediction --- predicting whether a user who has participated in a thread will later contribute another comment to it. The first of these sub-problems arises in estimating how interesting a thread is, in the sense of generating a lot of conversation; the second can help determine whether users should be kept notified of the progress of a thread to which they have already contributed. We develop and evaluate a range of approaches for these tasks, based on an analysis of the network structure and arrival pattern among the participants, as well as a novel dichotomy in the structure of long threads. We find that for both tasks, learning-based approaches using these sources of information yield improvements for all the performance metrics we used.

연구 동기 및 목표

• 사용자 주의 집중 관리의 핵심 문제를 규명함으로써 온라인 토론 스레드 큐레이션 과제를 해결하고자 한다.
• 스레드 길이 예측(참여도의 대체 지표로 사용)과 초기 참여 후 사용자가 재참여할지를 예측하는 두 핵심 문제를 정식화하고 해결하고자 한다.
• 장시간 지속되는 스레드의 구조적 이원성—집중형(적은 활성 사용자) 대비 확장형(많은 일회성 댓글자)—을 이해하고 큐레이션에 대한 영향을 분석하고자 한다.
• 학습 기반 모델을 개발하고, 네트워크, 시간적, 언어적 특징을 조합하여 스레드 길이 및 재참여 예측 성능을 향상시키고자 한다.
• 지속적인 관심을 끌 가능성이 높은 스레드와 재참여 가능성이 높은 사용자를 식별함으로써 토론 피드의 보다 나은 알고리즘 기반 큐레이션을 가능하게 하고자 한다.

제안 방법

• 페이스북과 위키백과 토론 스레드를 분석하여 참가자 수의 이중분포를 확인하고, 집중형과 확장형 스레드를 구분한다.
• 댓글 도착 패턴, 참가자 간 네트워크 구조, 텍스트 고유성(일반화된 언어 모델 기반) 등의 특징을 사용하여 스레드 길이 예측 모델을 구축한다.
• 사용자 수준의 빈도 통계를 활용하여 첫 댓글 작성자의 고유성(해당 사용자의 게시물에 첫 댓글을 달 확률이 낮은 정도)을 측정함으로써 재참여 가능성을 예측한다.
• 구조적, 시간적, 언어적 특징을 통합하기 위해 학습 기반 접근법(예: 로지스틱 회귀 또는 유사 모델)을 사용하여 두 예측 과제를 수행한다.
• 페이스북과 위키백과의 실제 데이터셋을 기반으로 매크로 평균 성능 지표를 사용해 모델을 평가한다.
• 사용자 재방문 패턴과 게시물 텍스트의 희귀성(단어의 로그 확률) 등의 특징을 통합하여 스레드 진화의 사회적 및 언어적 신호를 포착한다.

실험 결과

연구 질문

• RQ1 장시간 지속되는 토론 스레드는 실제로 집중형(적은 활성 사용자) 또는 확장형(많은 일회성 댓글자)이라는 두 가지 구조적 유형으로 자연스럽게 분리되는가, 아니면 단지 인식적 편향일 뿐인가?
• RQ2 네트워크 구조, 댓글 시간 배치, 텍스트 고유성 등의 초기 단계 특징이 스레드의 최종 길이를 효과적으로 예측할 수 있는가?
• RQ3 첫 댓글의 고유성과 이전 상호작용 패턴을 기반으로 사용자가 스레드에 재참여할 가능성을 예측할 수 있는가?
• RQ4 언어적 특징(예: 게시물 내 단어의 희귀성)은 스레드 길이와 어떻게 관련되어 있으며, 페이스북과 위키백과와 같은 플랫폼 간에 이 관계가 다를까?
• RQ5 사용자 수준의 패턴—특히 어떤 사용자가 특정 사용자의 게시물에 첫 댓글을 달 빈도—는 스레드의 지속성과 사용자 재참여를 얼마나 잘 예측할 수 있는가?

주요 결과

• 장시간 지속되는 토론 스레드는 참가자 수에 대해 진정으로 이중분포를 보이며, 집중형과 확장형 스레드 간의 구조적 이원성이 확인된다.
• 페이스북에서는 언어적으로 고유성이 높은 텍스트(일반화된 언어 모델에서 낮은 확률)를 가진 게시물이 더 긴 스레드를 예측할 수 있으나, 위키백과에서는 이와 같은 효과가 없으며, 이는 업무 중심의 토론 스타일 때문일 것이다.
• 페이스북에서는 첫 댓글 작성자가 사용자의 게시물에 첫 댓글을 달 확률이 낮은(즉, 매우 고유한) 경우, 더 긴 스레드와 강하게 연관되어 있어 더 넓은 영향력이나 신선함을 반영할 수 있음을 시사한다.
• 위키백과에서는 반대 경향이 관찰되며, 자주 첫 댓글을 달 사용자가 더 긴 스레드와 관련되어 있어 플랫폼 특화된 동적 특성이 반영됨을 나타낸다.
• 첫 댓글 작성자의 고유성을 사용할 경우 재참여 예측 성능이 크게 향상되며, 페이스북에서는 희귀한 첫 댓글 작성자가 있는 경우 스레드 길이가 명확한 상승 추세를 보인다.
• 네트워크 구조, 시간 패턴, 언어적 특징을 통합한 학습 기반 모델은 스레드 길이 및 재참여 예측에서 모든 성능 지표에서 베이스라인 방법을 뛰어넘는 성능을 보였다.