[논문 리뷰] Everything About You: A Multimodal Approach towards Friendship Inference in Online Social Networks

Tahleen Rahman, Mario Fritz외 2명|arXiv (Cornell University)|2020. 03. 02.

Social Media and Politics참고 문헌 43인용 수 4

한 줄 요약

이 논문은 이미지, 텍스트, 해시태그, 지리적 위치 및 기존 우정 관계를 조합하여 온라인 소셜 네트워크에서 우정을 추론하는 다중모odal 프레임워크를 제안한다. 2,200만 건의 실제 인스타그램 게시물 데이터셋을 사용하여 다중모달 공격은 AUC가 0.9를 초과하여 단모달 접근 방식보다 뚜렷이 뛰어나며, 다각도의 데이터 오용에 대비한 종합적인 프라이버시 방어 조치가 필요함을 시사한다.

ABSTRACT

Most previous works in privacy of Online Social Networks (OSN) focus on a restricted scenario of using one type of information to infer another type of information or using only static profile data such as username, profile picture or home location. However the multimedia footprints of users has become extremely diverse nowadays. In reality, an adversary would exploit all types of information obtainable over time, to achieve its goal. In this paper, we analyse OSN privacy by jointly exploiting longterm multimodal information. We focus in particular on inference of social relationships. We consider five popular components of posts shared by users, namely images, hashtags, captions, geo-locations and published friendships. Large scale evaluation on a real-world OSN dataset shows that while our monomodal attacks achieve strong predictions, our multimodal attack leads to a stronger performance with AUC (area under the ROC curve) above 0.9. Our results highlight the need for multimodal obfuscation approaches towards protecting privacy in an era where multimedia footprints of users get increasingly diverse.

연구 동기 및 목표

• 온라인 소셜 네트워크에서 사용자가 장기간에 걸쳐 공유하는 종합적이고 장기적인 다중모달 콘텐츠가 초래하는 프라이버시 위험을 평가하기 위해.
• 이미지, 텍스트, 해시태그, 위치 및 기존 우정 관계와 같은 여러 모달리티를 조합할 경우 단일 모달리티 접근 방식을 초월하여 우정 추론 성능이 향상되는지 조사하기 위해.
• 해시태그, 이미지 및 텍스트 캡션 기반의 새로운 단모달 공격 기법을 개발하고 평가하기 위해.
• 모든 다섯 가지 구성 요소를 통합하여 최대한의 추론 정확도를 달성하는 강력한 다중모달 융합 프레임워크를 설계하고 평가하기 위해.
• 다양한 데이터 가용성과 사용자 게시 행동에 따라 다중모달 공격의 강건성과 확장성을 입증하기 위해.

제안 방법

• 해시태그 공존 패턴 기반, NLP 기반 통계적 특징(예: 엔트로피, 빈도)을 활용한 캡션 분석 기반, 이미지에서 의미적 임베딩을 추출하기 위해 딥러닝(ResNet)을 사용하는 총 3가지의 새로운 단모달 친구 추론 공격 기법을 제안한다.
• 이미지, 텍스트, 해시태그, 지리적 위치 및 기존 우정 관계의 모든 다섯 구성 요소의 예측 결과를 하나의 통합 추론 모델로 융합하는 다중모달 융합 메커니즘을 적용한다.
• 실제 인스타그램 데이터셋(두 도시의 2,200만 건의 사용자 게시물 포함)을 사용하여 모든 모델을 현실적인 조건에서 훈련 및 평가한다.
• 최신 기술을 적용: 이미지 특징 추출에 ResNet-50, 텍스트 분석에 TF-IDF 및 엔트로피 기반 특징, 해시태그 분석에 이분 그래프 임베딩 기법을 사용한다.
• 모노모달 및 다중모달 공격 성능을 비교하기 위해 ROC-AUC를 주요 평가 지표로 사용한다.
• 다양한 데이터 가용성의 서브셋에서 테스트하여 강건성을 검증하였으며, 모달리티를 융합할수록 일관된 성능 향상이 관찰되었다.

실험 결과

연구 질문

• RQ1 해시태그 공존 패턴은 온라인 소셜 네트워크 내 사회적 관계 추론에 효과적으로 활용될 수 있는가?
• RQ2 개별적으로 사용될 경우, 텍스트 캡션과 이미지 콘텐츠는 친구 추론 정확도에 얼마나 기여하는가?
• RQ3 이미지, 텍스트, 해시태그, 위치 및 기존 우정 관계를 포함한 여러 모달리티를 조합할 경우 단모달 접근 방식에 비해 친구 추론 정확도는 얼마나 향상되는가?
• RQ4 다중모달 추론 환경에서 사용자 생성 콘텐츠의 어떤 구성 요소가 가장 상호보완적인가?
• RQ5 사용자당 공유하는 데이터의 양이 변할 경우 다중모달 친구 추론 공격의 강건성은 어떠한가?

주요 결과

• 해시태그 기반 단모달 공격은 AUC 0.86을 달성하여 이전 연구 대비 7%p 높은 성능을 보였다.
• 텍스트 기반 공격은 AUC 0.83을 기록하여 언어적 특징이 친구 추론에 강력한 예측력을 지닌다는 것을 입증했다.
• 이미지 기반 공격은 AUC 0.637을 달성하여 시각 콘텐츠만으로도 친구 추론에 실질적인 신호가 될 수 있음을 확인했지만, 상대적으로 낮은 효과를 보였다.
• 모든 다섯 구성 요소를 융합한 다중모달 공격은 LA 데이터셋에서 AUC 0.92를 기록하여 가장 뛰어난 단모달 결과(해시태그 기반 0.8555)를 크게 초월했다.
• 서로 보완적인 모달리티의 융합은 성능 향상에 상당한 기여를 하였으며, 추가로 구성 요소를 통합할수록 전체 추론 정확도가 향상되었다.
• 데이터 가용성이 제한된 상황에서도 다중모달 공격은 강건성을 유지하여 다양한 사용자 행동 패턴에서 실질적인 위협 잠재력을 보였다.