[논문 리뷰] Learning Latent Local Conversation Modes for Predicting Community Endorsement in Online Discussions

Hao Fang, Hao Cheng외 1명|arXiv (Cornell University)|2016. 08. 16.

Topic Modeling참고 문헌 25인용 수 4

한 줄 요약

이 논문은 온라인 포럼에서 커뮤니티 승인도(예: Reddit karma)를 예측하기 위해 국소적 토론 구조(예: 응답 시간, 응답 그래프)에서 잠재적 토론 모드를 학습하는 신경망 모델을 제안한다. 제출된 맥락을 잠재 모드의 가중 조합으로 모델링하고, 모드에 따라 가중치가 조절되는 게이트를 사용함으로써 텍스트 특징의 기여도를 동적으로 조정함으로써 예측 정확도를 향상시키고 해석 가능성을 제공한다. 결과적으로, 텍스트 콘텐츠는 활동이 적은 토론 영역의 댓글에서 가장 예측력이 높다는 것이 드러났다.

ABSTRACT

Many social media platforms offer a mechanism for readers to react to comments, both positively and negatively, which in aggregate can be thought of as community endorsement. This paper addresses the problem of predicting community endorsement in online discussions, leveraging both the participant response structure and the text of the comment. The different types of features are integrated in a neural network that uses a novel architecture to learn latent modes of discussion structure that perform as well as deep neural networks but are more interpretable. In addition, the latent modes can be used to weight text features thereby improving prediction accuracy.

연구 동기 및 목표

• 텍스트 콘텐츠와 응답 패턴의 구조적 패턴을 모두 활용하여 온라인 토론에서 커뮤니티 승인도를 예측하기 위해.
• 응답 구조와 시간 패턴을 기반으로 잠재적 토론 모드를 식별하여 토론 스레드의 동적 성격을 모델링하기 위해.
• 다양한 토론 맥락에서 텍스트 특징의 중요도가 어떻게 변하는지 학습함으로써 예측 정확도를 향상시키기 위해.
• 커뮤니티 승인 수준과 관련이 있는 의미 있는 데이터 기반의 토론 행동 모드를 발견함으로써 설명 가능성을 제공하기 위해.
• 구조적 신호(예: 응답 수, 시간 간격)가 커뮤니티 업보트에 대한 댓글 콘텐츠의 영향력을 어떻게 조절하는지 조사하기 위해.

제안 방법

• 각 댓글의 국소적 토론 맥락을 그래프 특징(예: 자식 수, 서브트리 높이)과 시간 특징(예: 루트로부터 경과 시간, 부모로부터 경과 시간)을 사용하여 표현하기 위해.
• 커뮤니티 승인도(카르마)를 약한 감독 신호로 사용하여 토론 스레드에서 공통적인 구조 패턴을 나타내는 잠재 기저 벡터(토론 모드)의 집합을 학습하기 위해.
• 각 댓글의 맥락을 이러한 잠재 모드의 가중 선형 조합으로 모델링하여 구조적 역학의 분리된 표현을 가능하게 하기 위해.
• 학습된 잠재 모드에 따라 텍스트 특징의 기여도를 조정하는 동적 게이트 메커니즘을 도입하여 맥락 기반의 텍스트 중요도를 허용하기 위해.
• 게이트 조절 텍스트 특징과 구조적 맥락 표현을 함께 최적화하여 승인도 예측을 수행하는 신경망을 훈련하기 위해.
• 정량화된 카르마 수준을 레이블로 사용하고, 승인도 범주별로 이진 분류기를 훈련하며, 모델 성능은 서브레딧 간 F1 스코어로 평가한다.

실험 결과

연구 질문

• RQ1 온라인 토론 스레드의 다양한 구조적 패턴(예: 시간 간격, 응답 수)은 커뮤니티 승인도와 어떻게 관련이 있는가?
• RQ2 커뮤니티 승인도를 신호로 사용하여 약한 감독 방식으로 토론 구조의 잠재 모드를 학습할 수 있는가?
• RQ3 텍스트 콘텐츠의 예측력이 댓글의 구조적 맥락에 따라 달라지는가?
• RQ4 모드 기반 게이트 메커니즘이 고정 가중치 융합 방식보다 예측 정확도를 향상시킬 수 있는가?
• RQ5 응답 수와 구조적 역학만으로도 승인도를 예측할 수 있는 정도는 어느 정도이며, 텍스트를 통합함으로써 성능이 얼마나 향상되는가?

주요 결과

• AskMen 서브레딧에서 모델은 중간 수준 승인도에 대해 F1 스코어 0.87, 고급 수준에 대해 0.67, 저급 수준에 대해 0.85를 기록하여 뛰어난 성능을 보였다.
• 고카르마 댓글은 일반적으로 토론 초반에 제출되며, 많은 직접 응답을 가진 넓은 서브트리를 가지며 활성 토론 영역임을 나타낸다.
• 저카르마 댓글은 일반적으로 토론 후반에 제출되며 얕은 서브트리를 가지며 참여도가 낮고 독자 수가 적다는 것을 암시한다.
• 고카르마 댓글의 경우 텍스트 게이트 값이 일관되게 낮게 유지되며, 이는 활동이 많은 토론 모드에서는 콘텐츠의 중요도가 낮다는 것을 시사한다.
• 잠재 모드 표현은 다양한 서브레딧에서 의미 있는 구조적 패턴을 포착하며, 조기에/늦게 제출된 댓글과 높은/낮은 참여도를 가진 경우에 대해 명확한 클러스터를 형성한다.
• 게이트 조절 모델은 맥락에 따라 텍스트의 기여도를 동적으로 조정함으로써 베이스라인을 능가하며, 이는 구조적 맥락이 텍스트 콘텐츠의 유용성을 조절한다는 것을 보여준다.