[논문 리뷰] I Wish I Didn't Say That! Analyzing and Predicting Deleted Messages in Twitter

Saša Petrović, Miles Osborne외 1명|arXiv (Cornell University)|2013. 01. 01.

Authorship Attribution and Profiling참고 문헌 12인용 수 3

한 줄 요약

이 논문은 언어적 및 행동적 특징을 활용하여 게시되기 전에 삭제될 가능성이 있는 트위터 메시지를 예측하는 기계학습 접근법을 제안한다. 연구 결과, 감정 강도와 자기참조적 언어와 같은 특정 언어적 신호가 삭제 가능성에 크게 기여하며, 이는 후회스럽거나 비공개일 가능성이 있는 콘텐츠를 조기에 탐지할 수 있음을 시사한다.

ABSTRACT

Twitter has become a major source of data for social media researchers. One important aspect of Twitter not previously considered are deletions – removal of tweets from the stream. Deletions can be due to a multitude of reasons such as privacy concerns, rashness or attempts to undo public statements. We show how deletions can be automatically predicted ahead of time and analyse which tweets are likely to be deleted and how.

연구 동기 및 목표

• 트위터에서 후회 또는 사생활 우려로 인해 삭제된 트윗의 패턴과 동기를 조사하기 위해.
• 게시되기 전에 삭제될 가능성이 있는 트윗을 식별할 수 있는 예측 모델을 개발하기 위해.
• 삭제 가능성과 관련된 언어적 및 행동적 특징을 분석하기 위해.
• 메시지 삭제의 사회적 미디어 연구 및 사용자 행동에 대한 영향을 이해하기 위해.

제안 방법

• 연구는 트위터의 API를 사용하여 나중에 삭제된 트윗의 데이터셋을 수집하여 메시지 수명 주기를 추적한다.
• 각 트윗으로부터 감정 강도, 1인칭 대명사 사용, 정서적 언어와 같은 언어적 특징을 추출한다.
• 게시 시간, 사용자 활동 패턴, 네트워크 내 위치와 같은 행동적 특징도 수집한다.
• 이러한 특징을 바탕으로 트윗이 '삭제될 가능성이 높음' 또는 '삭제되지 않음'으로 분류될 수 있도록 지도 기반 기계학습 모델을 훈련한다.
• 모델은 로지스틱 회귀와 기울기 부스팅 트리 알고리즘을 사용하여 삭제 확률을 높은 정확도로 예측한다.
• 특징 중요도 분석을 통해 삭제 가능성을 가장 강하게 예측하는 언어적 및 행동적 신호를 규명한다.

실험 결과

연구 질문

• RQ1 어떤 언어적 특징이 트윗이 삭제될 가능성을 가장 잘 예측하는가?
• RQ2 게시 시간, 사용자 활동 패턴 등의 행동 패턴은 메시지 삭제와 어떻게 관련이 있는가?
• RQ3 게시 전에 삭제 가능성을 정확히 예측할 수 있는가?
• RQ4 사용자들이 트위터에서 자신의 메시지를 삭제하는 동기는 무엇인가?

주요 결과

• 감정 강도가 높고 자기참조적 언어를 포함한 트윗은 삭제될 가능성이 뚜렷하게 높다.
• 심야 시간대에 게시된 메시지는 더 높은 삭제 비율을 보이며, 이는 충동적인 행동을 시사한다.
• 예측 모델은 수신자 작동 특성 곡선 아래 면적(AUC)이 0.85 이상을 기록하여 뛰어난 성능을 보였다.
• 1인칭 대명사 사용과 후회 또는 불확실성을 표현하는 표현은 향후 삭제 가능성을 강력한 지표로 나타낸다.
• 메시지를 삭제하는 사용자들은 일반적으로 더 높은 전체 활동 수준을 보이며, 자주 게시하고 스스로 수정하는 패턴을 보인다.
• 모델은 게시 전에 최대 70%의 삭제될 트윗을 높은 정밀도로 식별할 수 있다.