[논문 리뷰] Joint Effects of Context and User History for Predicting Online Conversation Re-entries

Xingshan Zeng, Jing Li외 2명|arXiv (Cornell University)|2019. 06. 04.

Complex Network Analysis Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 온라인 재진입 행동을 예측하기 위해 대화 맥락과 사용자 대화 이력을 함께 모델링하기 위한 이중 주의 메커니즘을 갖춘 신경 프레임워크를 제안한다. 이는 대화 맥락 내에서 사용자 관심사와 주제 일치를 종합적으로 학습함으로써 트위터에서 F1 스코어 61.1을 달성하며, 기존 최고 성능 모델을 능가한다.

ABSTRACT

As the online world continues its exponential growth, interpersonal communication has come to play an increasingly central role in opinion formation and change. In order to help users better engage with each other online, we study a challenging problem of re-entry prediction foreseeing whether a user will come back to a conversation they once participated in. We hypothesize that both the context of the ongoing conversations and the users' previous chatting history will affect their continued interests in future engagement. Specifically, we propose a neural framework with three main layers, each modeling context, user history, and interactions between them, to explore how the conversation context and user chatting history jointly result in their re-entry behavior. We experiment with two large-scale datasets collected from Twitter and Reddit. Results show that our proposed framework with bi-attention achieves an F1 score of 61.1 on Twitter conversations, outperforming the state-of-the-art methods from previous work.

연구 동기 및 목표

• 사용자가 이전에 참여한 온라인 대화에 다시 참여할지를 예측하는 과제를 해결하기 위해.
• 대화 맥락과 사용자 대화 이력이 재진입 행동에 어떻게 함께 영향을 미치는지 조사하기 위해.
• 수작업 특징에 의존하지 않고 맥락과 이력 간의 상호작용을 포착하는 엔드 투 엔드 신경 프레임워크를 개발하기 위해.
• 모델 성능을 다양한 대화 길이에서 평가하고 인간의 예측 능력과 비교하기 위해.

제안 방법

• 세 층으로 구성된 신경 프레임워크를 설계하였으며, 대화 맥락과 사용자 이력에 대해 별도의 인코더를 갖추고, 이후 양방향 주의 메커니즘을 통해 다중 모odal 상호작용을 모델링하였다.
• 이중 주의 메커니즘은 맥락에서 이력으로, 이력에서 맥락으로의 양방향 주의 점수를 계산하여 사용자 관심사가 현재 토론 주제와 동적으로 정렬되도록 한다.
• 모델은 연결, 대화 턴에 대한 주의, 메모리 네트워크, 이중 주의를 통합하여 표현을 통합하며, 지도 학습을 통해 엔드 투 엔드로 훈련된다.
• 사용된 네 가지 변형은 단순 연결, BiLSTM에 주의, BiLSTM에 메모리 네트워크, BiLSTM에 이중 주의이며, 후자가 가장 뛰어난 성능을 보였다.
• 프레임워크는 트위터와 레딧에서 옻은 대규모 데이터셋을 기반으로 훈련 및 테스트되었으며, 하이퍼파라미터는 교차 검증을 통해 최적화되었다.
• 동일한 재진입 예측 과제에서 모델 성능을 두 명의 인간 평가자와 비교하기 위해 인간 평가 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 대화 맥락과 사용자 대화 이력이 사용자의 토론 재진입 가능성에 어떻게 함께 영향을 미치는가?
• RQ2 엔드 투 엔드 학습을 통해 개선된 신경 모델이 수작업 특징에 의존하는 전통적 방법보다 재진입 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ3 이중 주의 메커니즘이 다양한 맥락에서 변화하는 대화 주제와 사용자 관심사를 효과적으로 정렬할 수 있는가?
• RQ4 모델의 성능는 첫 번째 재진입 행동 예측에서 인간 판단과 비교해 어떻게 나타나는가?

주요 결과

• 이중 주의를 갖춘 제안된 모델은 트위터 데이터셋에서 F1 스코어 61.1을 달성하였으며, 이는 이전 최고 성능 모델(F1 = 57.0)을 초월한다.
• 모델은 대화 맥락과 사용자 이력의 길이가 다양할 때에도 모든 기준 모델, 수작업 특징을 사용한 모델을 포함해 일관되게 뛰어난 성능를 보였다.
• 이중 주의 메커니즘은 주의 히트맵을 통해 사용자 이력에서 파생된 관심사와 현재 대화의 관련 주제를 의미 있는 표현으로 정렬하는 데 성공하였다.
• 인간 평가자들은 랜덤 추측보다 약간 높은 성능(50개 중 25개 정답)을 보였고, 모델은 트위터에서 50개 중 35개의 정답 예측을 달성하여 대규모 데이터로부터 더 뛰어난 학습 능력을 보였다.
• 모델은 트위터보다 레딧에서 더 뛰어난 성능를 보였는데, 이는 레딧에서 토론이 더 집중적이고 형식적인 틀을 갖추고 있어 주제 식별에 유리하기 때문일 것이다.