[논문 리뷰] Who Will Share My Image? Predicting the Content Diffusion Path in Online Social Networks

Wenjian Hu, Krishna Kumar Singh외 4명|arXiv (Cornell University)|2017. 05. 25.

Complex Network Analysis Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 이미지의 콘텐츠와 변화하는 사회적 맥락을 동시에 모델링하여 온라인 소셜 네트워크 내에서 이미지의 전체 확산 경로를 예측하는 메모리 증강 순환 신경망인 Diffusion-LSTM을 제안한다. 이전 공유자의 사회적 특성 기록을 인코딩하고, 사용자 프로토타입을 통해 일반화를 도모함으로써, Pinterest 데이터에서 실제 확산 경로와 유사한 생성된 트리와 비교할 때 베이스라인을 압도적으로 뛰어넘는 성능을 보인다.

ABSTRACT

Content popularity prediction has been extensively studied due to its importance and interest for both users and hosts of social media sites like Facebook, Instagram, Twitter, and Pinterest. However, existing work mainly focuses on modeling popularity using a single metric such as the total number of likes or shares. In this work, we propose Diffusion-LSTM, a memory-based deep recurrent network that learns to recursively predict the entire diffusion path of an image through a social network. By combining user social features and image features, and encoding the diffusion path taken thus far with an explicit memory cell, our model predicts the diffusion path of an image more accurately compared to alternate baselines that either encode only image or social features, or lack memory. By mapping individual users to user prototypes, our model can generalize to new users not seen during training. Finally, we demonstrate our model's capability of generating diffusion trees, and show that the generated trees closely resemble ground-truth trees.

연구 동기 및 목표

• 이미지가 소셜 네트워크를 통해 확산되는 전체 경로를 예측하는 것, 즉 총 인기도만 예측하는 것 이상의 목표를 가짐.
• 이미지가 퍼지는지 여부를 넘어서, 누가 언제 공유하는지를 예측하는 도전 과제를 해결함.
• 이미지 콘텐츠와 변화하는 사회적 맥락(즉, 이전 공유자의 역사를 포함)을 통합된 예측 프레임워크에 통합함.
• 사용자 프로토타입을 기반으로 한 특성에 매핑하여, 훈련 중에 나타나지 않은 새로운 사용자에게도 일반화할 수 있도록 함.
• 실제 소셜 미디어에서 관찰된 전파 패턴과 유사한 구조적 확산 트리를 생성함.

제안 방법

• Diffusion-LSTM는 이미지를 공유한 사용자들의 순차적 역사를 인코딩하기 위해 명시적인 메모리 셀을 갖춘 장기 단기 기억(LSTM) 아키텍처를 사용함.
• 이미지 특징은 사전 훈련된 VGG-16 네트워크를 사용해 추출되며, 사용자 사회적 특징은 38차원 Pinterest 카테고리 히스토GRAM으로 표현됨.
• 모델은 각 단계에서 이미지 특징, 현재 사용자의 사회적 특징, 이전 단계의 은닉 상태를 결합하여 다음 공유자를 순차적으로 예측함.
• 사용자 프로토타입은 사용자의 사회적 특징 분포를 기반으로 클러스터링하여 생성되며, 추론 시에 볼 수 없는 사용자에게도 일반화를 가능하게 함.
• 트리 생성은 101개 클래스(100개의 프로토타입 + 종료 클래스)를 순차적으로 예측함. 종료 조건은 종료 노드의 확률이 0.5 이상일 때 설정됨.
• 평가에서는 트리 깊이 ≤10, 크기 ≤150, 폭 ≤100으로 제한된 트리에 대해 깊이별 평균 절대 오차(MAE)를 사용하여 열등한 성장 방지를 목적으로 함.

실험 결과

연구 질문

• RQ1 이미지 공유자의 역사를 추적하는 딥 루프 신경망이 역사를 忽시하는 모델보다 전체 공유자 순서를 더 정확하게 예측할 수 있는가?
• RQ2 이미지 콘텐츠와 변화하는 사회적 맥락을 함께 사용할 경우, 단일 모odal(이미지 또는 사회적 특징)만 사용하는 모델에 비해 확산 경로 예측 정확도가 얼마나 향상되는가?
• RQ3 사용자 프로토타입을 통해 훈련 데이터에 포함되지 않은 새로운 사용자에게 얼마나 잘 일반화할 수 있는가?
• RQ4 모델이 실제 소셜 미디어에서 관찰되는 전파 패턴과 유사한 구조적 확산 트리를 얼마나 잘 생성할 수 있는가?
• RQ5 이미지 콘텐츠와 사회적 특징 중에서 다음 공유자를 결정하는 데 있어 어떤 요소가 더 큰 기여를 하는가?

주요 결과

• 메모리가 없거나 이미지 또는 사회적 특징만 사용하는 베이스라인에 비해 Diffusion-LSTM이 유의미하게 뛰어난 성능을 보이며, 순차적 역사 모델링의 중요성을 입증함.
• 모델이 생성한 확산 트리는 완전히 연결된(Fully Connected, FC) 베이스라인보다 실제 트리에 훨씬 가까운 경향이 있으며, 모든 트리 깊이에서 깊이별 평균 절대 오차(MAE)가 향상됨.
• 특정 사용자를 잘못 예측하더라도, 모델이 예측한 사용자들은 실제 사용자와 같은 Pinterest 카테고리에 속해 있어 사회적 특징 일치의 강건성을 보임.
• 장거리 의존성을 효과적으로 포착하여, 초반 공유자와 같은 프로토타입 그룹에 속한 사용자를 예측함으로써 메모리 활용의 효율성을 입증함.
• 동일한 프로토타입 사용자가 다른 이미지를 업로드할 경우, 생성된 확산 트리가 이를 반영함 — 예를 들어 정원 관련 이미지는 정원 카테고리 사용자에게 더 많이 퍼짐 — 이는 이미지 콘텐츠의 역할을 확인함.
• 프로토타입 매핑을 통해 새로운 사용자 아이덴티티에 대해 추론 시 일관된 성능을 보이며, 훈련 데이터에 포함되지 않은 사용자에게도 잘 일반화됨을 입증함.