[논문 리뷰] Learning multi-faceted representations of individuals from heterogeneous evidence using neural networks

Jiwei Li, Alan Ritter외 1명|arXiv (Cornell University)|2015. 10. 18.

Topic Modeling참고 문헌 88인용 수 27

한 줄 요약

이 논문은 사용자가 생성한 텍스트, 사회적 네트워크 구조, 사용자 속성과 같은 이질적인 사회적 신호를 통합하여 공통의 조밀한 벡터 표현으로 통합함으로써 개인의 다면적 표현을 공동으로 학습하는 딥 뉴럴 네트워크 프레임워크를 제안한다. 언어적 및 관계적 신호를 활용함으로써, 성별, 직업, 위치, 친구 관계 예측과 같은 네 가지 핵심 소셜 미디어 추론 작업에서 성능이 크게 향상되었으며, 통합된 증거가 더 정확하고 강건한 사용자 모델링을 가능하게 한다는 것을 입증한다.

ABSTRACT

Inferring latent attributes of people online is an important social computing task, but requires integrating the many heterogeneous sources of information available on the web. We propose learning individual representations of people using neural nets to integrate rich linguistic and network evidence gathered from social media. The algorithm is able to combine diverse cues, such as the text a person writes, their attributes (e.g. gender, employer, education, location) and social relations to other people. We show that by integrating both textual and network evidence, these representations offer improved performance at four important tasks in social media inference on Twitter: predicting (1) gender, (2) occupation, (3) location, and (4) friendships for users. Our approach scales to large datasets and the learned representations can be used as general features in and have the potential to benefit a large number of downstream tasks including link prediction, community detection, or probabilistic reasoning over social networks.

연구 동기 및 목표

• 온라인 소셜 미디어에서 개인을 모델링하기 위해 다양한 사회적 신호—텍스트, 속성, 네트워크 구조—를 통합하는 확장 가능한 딥 러닝 프레임워크를 개발하는 것.
• 잡음이 많고 이질적이며 종종 불완전한 사회적 증거를 하나의 일관된 사용자 표현으로 통합하는 데 도전하는 것.
• 공동 최적화된 사용자 임베딩을 통해 개인 및 집단 수준의 행동에 대한 개선된 추론을 가능하게 하는 것.
• 대규모 소셜 데이터셋에 대해 표현 학습 과정을 확장하면서도, 후속 작업에 대한 해석 가능성과 일반화 능력을 유지하는 것.

제안 방법

• 모델은 CBOW와 단락 벡터에 영감을 받은 신경망 아키텍처를 사용하여 사용자가 생성한 텍스트, 사회적 네트워크 연결, 사용자 속성을 함께 학습함으로써 사용자 임베딩을 학습한다.
• 텍스트적 맥락은 주변 단어와 사용자 임베딩을 고려해 단어를 예측함으로써 모델링되며, 이때 사용자 임베딩은 맥락 벡터에 통합된다.
• 사용자 임베딩은 확률적 경사 하강법을 통해 최적화되어 관찰된 단어의 가능도를 극대화하고, 유사한 속성 또는 친구 관계를 가진 사용자들이 임베딩 공간에서 가까이 위치하도록 유도된다.
• 기존의 단어 및 노드 임베딩 방법을 확장하여 사용자, 텍스트, 속성을 통합된 벡터 공간에서 함께 모델링함으로써 사회적 신호에 대한 전역적 추론을 가능하게 한다.
• 모델은 동질성 원칙을 활용한다: 친구 관계가 있거나 속성이 같거나 유사한 텍스트를 작성하는 사용자들은 벡터 공간에서 가까이 위치한다.
• 언어 모델링, 속성 예측, 링크 예측 신호를 통합한 공동 최적화 목표 함수를 통해 하나의 통합된 표현을 학습한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 텍스트, 속성, 네트워크 구조와 같은 이질적인 사회적 신호를 효과적으로 통합하여 사용자 표현 학습에 활용할 수 있는가?
• RQ2 텍스트와 사회적 관계와 같은 다양한 증거 원천을 통합함으로써, 성별, 직업, 위치 예측과 같은 개인 속성 추론 작업의 정확도가 어떻게 향상되는가?
• RQ3 학습된 사용자 임베딩이 동질성 특성을 얼마나 잘 반영하는가? 즉, 유사한 속성 또는 행동을 가진 사용자들이 벡터 공간에서 가까이 위치하는가?
• RQ4 학습된 표현이 친구 관계 예측 및 사회적 네트워크에 대한 확률적 추론과 같은 다양한 후속 작업에 일반화되는가?
• RQ5 모델은 대규모 소셜 미디어 데이터셋에 대해 성능과 강건성을 유지하면서 어떻게 확장되는가?

주요 결과

• 제안된 모델은 텍스트 및 네트워크 증거를 통합함으로써 성별, 직업, 위치, 친구 관계 예측에서 뚜렷한 성능 향상을 달성한다.
• 텍스트 및 네트워크 신호를 모두 통합하면 단일 모odal만 사용할 때보다 더 높은 성능을 달성하여 다중 모odal 통합의 가치를 입증한다.
• 학습된 사용자 임베딩은 자연스럽게 동질성을 반영한다: 유사한 속성 또는 사회적 유대 관계를 가진 사용자들은 유사한 벡터로 표현된다.
• 남성은 캘리포니아에 거주하는 여성보다 엔지니어일 가능성이 6.8배 높다는 것을 예측함으로써, 그룹 수준의 행동 패턴을 추론할 수 있음을 보여준다.
• IT 업계에 속한 사용자는 법조 업계에 속한 사용자보다 애플 아이폰을 좋아할 가능성이 2.5배 높다는 것을 보여주며, 사회적 속성에 대한 확률적 추론 능력을 입증한다.
• 프레임워크는 잘 일반화되며, 컨볼루션 네트워크(CNN)에서 유도된 이미지 표현 등 다른 모odal을 포함시킬 수 있도록 확장 가능하여 다양한 소셜 미디어 플랫폼에의 적용 가능성을 높인다.