[논문 리뷰] Aggregating Content and Network Information to Curate Twitter User Lists

Derek Greene, Gavin Sheridan외 2명|arXiv (Cornell University)|2012. 06. 08.

Complex Network Analysis Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 콘텐츠 기반 및 네트워크 기반 추천 기준을 통합하는 SVD 기반 집계 방법을 제안하여 트위터 사용자 리스트 커리테이션을 향상시킨다. 다양한 시각—예를 들어 공통 리스트 사용자, 언급, 트윗 콘텐츠—를 통합하면 단일 기준에 의존하는 것보다 훨씬 더 강력하고 정확한 추천을 얻을 수 있으며, 특히 데이터가 부족한 상황에서 두드러진다.

ABSTRACT

Twitter introduced user lists in late 2009, allowing users to be grouped according to meaningful topics or themes. Lists have since been adopted by media outlets as a means of organising content around news stories. Thus the curation of these lists is important - they should contain the key information gatekeepers and present a balanced perspective on a story. Here we address this list curation process from a recommender systems perspective. We propose a variety of criteria for generating user list recommendations, based on content analysis, network analysis, and the "crowdsourcing" of existing user lists. We demonstrate that these types of criteria are often only successful for datasets with certain characteristics. To resolve this issue, we propose the aggregation of these different "views" of a news story on Twitter to produce more accurate user recommendations to support the curation process.

연구 동기 및 목표

• 뉴스 보도를 위한 수동적 트위터 사용자 리스트 커리테이션은 시간이 오래 걸리고, 완전하지 않거나 편향된 표현을 초래할 수 있다는 도전 과제를 해결한다.
• 특정 주제의 트위터 리스트에 포함시킬 사용자를 추천하기 위해 고립된 콘텐츠 기반 또는 네트워크 기반 기준에만 의존할 경우의 한계를 조사한다.
• 다양한 시각(콘텐츠, 네트워크, 커뮤니티 기반 리스트 데이터)을 통합하여 정확도를 향상시킬 수 있는 통합 추천 프레임워크를 개발한다.
• 미디어 전문가들이 운영하는 Storyful의 기준을 기반으로, 미국 정치 이벤트와 관련된 다양한 트위터 데이터셋을 대상으로 집계된 추천의 효과성을 평가한다.

제안 방법

• 주제에 관련된 추가 사용자를 추천하기 위해 권위 있는 사용자로 구성된 초기 시드 리스트를 맥락으로 사용한다.
• 다섯 가지 다른 추천 기준을 적용한다: 네트워크 기반(팔로워, 언급자, 공통 리스트 사용자) 및 콘텐츠 기반(트윗, 리스트 이름), 각각이 후보자에 대해 순위 매겨진 목록을 생성한다.
• 10개의 미국 정치 뉴스 데이터셋에서 각 기준이 기준 시드 사용자와 얼마나 잘 일치하는지 평가하기 위해 공명 분석을 수행한다.
• 상위 다섯 개 기준 중 가장 잘 성능을 보인 것을 SVD 기반 순위 집계를 통해 하나의 더 강력한 추천 목록으로 통합한다.
• 정밀도와 재현율 지표를 사용해 교차 검증을 수행하며, 다양한 k-순위(k=10, 20, 30, 40, 50)에서 성능을 평가한다.
• 실험 전반에 걸쳐 개별 기준과의 비교를 위해 순위 배치(1위, 2위, 3위) 기반의 성능을 분석한다.

실험 결과

연구 질문

• RQ1 기준이 제공되는 상황에서 콘텐츠 기반 및 네트워크 기반 기준이 트위터 리스트에 사용자를 추천할 때 각각 어떤 성능을 보이는가?
• RQ2 다양한 트위터 데이터셋에서 데이터 가용성이 다를 경우, 다양한 추천 기준의 효과성은 얼마나 다를 수 있는가?
• RQ3 순위 집계를 통해 다수의 기준을 통합하면 개별 기준에 비해 추천의 강건성과 정확도가 향상되는가?
• RQ4 SVD 기반 집계는 다양한 데이터셋과 k-순위에서 최고의 개별 기준에 비해 정밀도와 재현율 측면에서 어떤 성능을 보이는가?

주요 결과

• SVD 기반 집계는 모든 데이터셋과 k-순위에서 정밀도 평가의 48%와 재현율 평가의 46%에서 1위 성과를 달성했다.
• 집계된 방법은 정밀도 평가의 92%와 재현율 평가의 88%에서 상위 3위 이내에 진입하여 개별 기준을 크게 앞섰다.
• 가장 경쟁력 있는 단일 기준인 '언급자'는 오직 실험의 50%에서 상위 3위에 머물렀으며, 이는 집계의 가치를 입증한다.
• 콘텐츠 기반 기준인 '트윗 (200)'과 '리스트 이름'은 고립된 상태에서 성능이 열악했으며, 1위 및 2위 순위에 드는 비율이 낮아 신뢰도가 떨어졌다.
• 네트워크 기반 기준인 '팔로워'와 '공통 리스트 사용자'는 중간 정도의 성능를 보였지만, 집계된 접근 방식에 비해 열등했다.
• 공명 분석 결과, 어떤 단일 기준도 모든 데이터셋에서 기준과 항상 일치하지 않아, 집계의 필요성을 정당화했다.