[논문 리뷰] Social Media-based User Embedding: A Literature Review

Shimei Pan, Tao Ding|arXiv (Cornell University)|2019. 06. 01.

Mental Health via Writing참고 문헌 40인용 수 4

한 줄 요약

이 문헌 고찰은 최근의 소셜 미디어 기반 사용자 임베딩 기술을 조사하며, 이질적인 데이터(예: 텍스트, 이미지, 좋아요, 프로필)로부터 저차원의 통합된 표현을 학습하는 방법에 초점을 맞춘다. 이러한 임베딩 기법은 데이터가 부족한 상황에서 효과적인 전이 학습을 가능하게 하고 과적합을 줄여, 인간의 성격, 정신 건강, 정치적 성향과 같은 특성과 행동을 예측하는 데 성능을 향상시킨다.

ABSTRACT

Automated representation learning is behind many recent success stories in machine learning. It is often used to transfer knowledge learned from a large dataset (e.g., raw text) to tasks for which only a small number of training examples are available. In this paper, we review recent advance in learning to represent social media users in low-dimensional embeddings. The technology is critical for creating high performance social media-based human traits and behavior models since the ground truth for assessing latent human traits and behavior is often expensive to acquire at a large scale. In this survey, we review typical methods for learning a unified user embeddings from heterogeneous user data (e.g., combines social media texts with images to learn a unified user representation). Finally we point out some current issues and future directions.

연구 동기 및 목표

• 이질적인 소셜 미디어 데이터(텍스트, 이미지, 좋아요, 프로필, 사회적 네트워크)로부터 저차원의 통합된 사용자 임베딩을 학습하는 최근의 방법을 조사하기 위해.
• 자동화된 사용자 임베딩이 성격 예측, 우울증 탐지, 정치적 성향 추론과 같은 후행 작업에서 성능을 향상시키는 방식을 검토하기 위해.
• 사용자 임베딩 연구에서의 해석 가능성과 윤리적 문제를 특정하기 위해.
• 미래 연구 방향을 요약하기 위해 — 예를 들어 시간적 모델링, 다중 작업 학습, 다중 플랫폼 융합, 그리고 해석 가능한 표현 학습 등.

제안 방법

• 2013~2019년 사이에 소셜 미디어 사용자 데이터에 임베딩 기법을 적용한 최근 25篇의 논문을 체계적으로 검토한다.
• 다섯 가지 차원에 따라 연구를 분류한다: 데이터 유형, 단일 시각 임베딩 방법, 보조 학습 작업, 다중 시각 임베딩 방법, 목표 작업, 및 지도적 튜닝.
• 임베딩 기법을 단일 시각(예: word2vec, node2vec, 딥 오토에인코더)과 다중 시각(예: 조기/후기 융합, 어텐션 메커니즘) 학습 접근 방식으로 분류한다.
• 대규모 소셜 미디어 데이터에서의 자기지도 및 비지도 사전 학습이 저자원 후행 작업으로의 전이 학습을 가능하게 하는 방식을 분석한다.
• 조기, 후기, 또는 중간 융합을 통해 텍스트, 이미지, 네트워크 구조 등의 다중모달 입력을 통합된 사용자 임베딩 공간에 통합하는 방식을 평가한다.
• 예를 들어 감성 예측, 콘텐츠 생성 등의 보조 작업을 통해 학습된 사용자 임베딩의 품질을 향상시키는 방식을 검토한다.

실험 결과

연구 질문

• RQ1 다중모달 소셜 미디어 데이터에서 유도된 통합된 사용자 임베딩은 전통적인 특성 공학 기법에 비해 인간의 특성과 행동 예측 성능을 어떻게 향상시키는가?
• RQ2 소셜 미디어에서 단일 시각 및 다중 시각 사용자 임베딩 학습에 사용되는 주요 기법과 아키텍처는 무엇인가?
• RQ3 자기지도 또는 비지도 사전 학습 방법이 자원이 제한된 환경에서 후행 예측 성능을 얼마나 향상시키는가?
• RQ4 사용자 임베딩 모델의 해석 가능성과 윤리적 함의에 있어 주요한 한계는 무엇인가?
• RQ5 시간적 모델링, 다중 작업 학습, 다중 플랫폼 융합 등의 미래 연구 방향은 분야 발전에 어떻게 기여할 수 있는가?

주요 결과

• 수동적 또는 자기지도 기반 사용자 임베딩을 사용한 연구는 수작업 특성에 의존하는 전통적 베이스라인에 비해 특히 자원이 부족한 환경에서 뚜렷한 성능 향상을 보였다.
• 텍스트, 이미지, 사회적 네트워크 특성을 융합하는 다중 시각 사용자 임베딩 방법은 단일 모odal 접근 방식보다 성격 및 정신 건강 예측에서 더 높은 정확도를 달성했다.
• 대규모 소셜 미디어 데이터에서의 자기지도 사전 학습은 우울증 탐지 및 정치적 성향 추론과 같은 후행 작업에서 일반화 능력을 향상시키고 과적합을 줄였다.
• 성능 향상에도 불구하고 대부분의 사용자 임베딩 모델은 해석 가능성에 빈도가 낮아 예측을 이끄는 잠재적 특성의 원리를 이해하기 어렵다.
• 윤리적 문제 — 예를 들어 개인정보 침해, 정보 동의의 부재, 편향되거나 낙인찍힘을 초래할 수 있는 추론 — 는 현재 연구에서 여전히 다루어지지 않은 상태이다.
• 미래 연구 방향으로 시간적 사용자 임베딩, 다중 작업 학습, 다중 플랫폼 융합 등은 모델의 강건성, 일반화 능력 및 실생활 적용 가능성을 향상시키는 데 강력한 잠재력을 지닌다.