[논문 리뷰] Cross-Domain Entity Resolution in Social Media

William M. Campbell, Lin Li외 5명|arXiv (Cornell University)|2016. 08. 03.

Data Quality and Management참고 문헌 21인용 수 11

한 줄 요약

이 논문은 프로필, 콘텐츠, 그래프 기반 특징을 사용하여 트위터와 인스타그램 간 사용자 간 연결을 위한 크로스도메인 엔티티 해석 프레임워크를 제안한다. 문자열 매칭을 위한 버로우스-웨일러 변환과 크로스도메인 커뮤니티 탐지 기법을 도입하여 특징 융합를 통해 1% 이하의 동등 오류률을 달성하며, 실제 소셜 미디어 데이터에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

The challenge of associating entities across multiple domains is a key problem in social media understanding. Successful cross-domain entity resolution provides integration of information from multiple sites to create a complete picture of user and community activities, characteristics, and trends. In this work, we examine the problem of entity resolution across Twitter and Instagram using general techniques. Our methods fall into three categories: profile, content, and graph based. For the profile-based methods, we consider techniques based on approximate string matching. For content-based methods, we perform author identification. Finally, for graph-based methods, we apply novel cross-domain community detection methods and generate neighborhood-based features. The three categories of methods are applied to a large graph of users in Twitter and Instagram to understand challenges, determine performance, and understand fusion of multiple methods. Final results demonstrate an equal error rate less than 1%.

연구 동기 및 목표

• 프로필이 노이즈가 많고 불완전한 트위터 및 인스타그램과 같은 플랫폼 간 소셜 미디어 사용자를 연결하는 데 도전하는 것.
• 프로필, 콘텐츠, 네트워크 구조 등의 다수의 데이터 소스를 사용하여 크로스도메인 엔티티 해석을 위한 강력하고 확장 가능한 방법 개발.
• 엔티티 해석 정확도 향상을 위해 프로필 기반, 콘텐츠 기반, 그래프 기반 특징을 평가하고 융합하는 것.
• 실제 노이즈가 많은 소셜 미디어 데이터에서 고도의 정규화 및 커뮤니티 탐지 기법의 효과를 입증하는 것.
• 누락된 데이터, 자가 보고된 정확도 부족, 플랫폼 특화 노이즈가 존재하는 상황에서도 고정밀 엔티티 해석을 달성하는 것.

제안 방법

• 프로필 기반 방법은 버로우스-웨일러 변환과 토큰 기반 문자열 메트릭을 포함한 새로운 정규화를 사용한 근사 문자열 매칭을 활용한다.
• 콘텐츠 기반 방법은 글쓰기 스타일과 언어 패턴을 기반으로 사용자를 매칭하는 저자 식별 기법을 적용한다.
• 그래프 기반 방법은 사용자명과 해시태그를 사용하여 다층 네트워크를 구축하고, 크로스도메인 커뮤니티 탐지를 적용하여 주변 및 커뮤니티 특징을 생성한다.
• 커뮤니티 탐지의 시드는 공통 해시태그와 정확한 사용자명 일치에서 유도된다. 이를 통해 플랫폼 간 커뮤니티를 정렬한다.
• 특징 융합은 로지스틱 회귀 및 랜덤 포레스트 모델을 사용하여 프로필, 콘텐츠, 그래프 특징의 유사도 점수를 융합한다.
• 누락된 데이터는 각 특징 조합별로 별도의 융합 모델을 훈련하고 테스트 시기에 적절한 모델을 선택하여 처리한다.

실험 결과

연구 질문

• RQ1 사용자명과 전체 이름만을 사용하여 프로필 기반 방법이 트위터와 인스타그램 간 엔티티를 효과적으로 해결할 수 있는가?
• RQ2 제한된 텍스트 데이터에서 콘텐츠 기반 저자 식별 기법이 크로스도메인 엔티티 해석에 얼마나 잘 작동하는가?
• RQ3 특히 크로스도메인 커뮤니티 탐지 기반 그래프 기반 특징이 해석 정확도 향상에 어느 정도 기여하는가?
• RQ4 프로필, 콘텐츠, 그래프 특징을 융합하기 위한 최적의 융합 전략은 무엇인가? 오류율을 최소화하는 데 기여하는가?
• RQ5 시드 선택(공통 해시태그 대비 정확한 사용자명)이 그래프 기반 특징 생성 성능에 어떤 영향을 미치는가?

주요 결과

• 공통 해시태그를 시드로 사용할 경우, 프로필, 콘텐츠, 그래프 기반 특징 융합으로 ALL 세트에서 동등 오류률(EER)이 1.00%로, NT 세트에서 3.32%로 달성되었다.
• 공통 해시태그와 정확한 사용자명 일치를 모두 시드로 사용할 경우 성능이 더욱 향상되어, ALL 세트에서 EER이 0.89%로, NT 세트에서 3.08%로 감소하였다.
• 프로필 및 그래프 특징의 조합이 가장 뚜렷한 성능 향상을 보였으며, 특히 낮은 가짜 경고율에서 높은 오류율 감소 효과를 보였다.
• 랜덤 포레스트 모델이 로지스틱 회귀를 능가했으며, 공통 해시태그를 시드로 사용할 경우 최저 EER 1.00%(ALL) 및 3.32%(NT)를 기록하였다.
• 1-홉 및 2-홉 이웃의 주변 및 커뮤니티 특징는 성능에 높은 변동성을 보였으며, 1-홉 특징이 2-홉 특징보다 더 신뢰할 수 있었다.
• 프로필 및 콘텐츠 특징에 그래프 특징을 추가하면 오류율이 크게 감소하여, 크로스도메인 해석에서 구조적 정보의 가치를 입증하였다.