[논문 리뷰] ICE: Information Credibility Evaluation on Social Media via Representation Learning

Qiang Liu, Shu Wu외 3명|arXiv (Cornell University)|2016. 09. 29.

Misinformation and Its Impacts참고 문헌 38인용 수 7

한 줄 요약

이 논문은 소셜 미디어 정보 신뢰성 평가를 위한 표현 학습 프레임워크인 ICE를 제안한다. 이는 사용자 신뢰성, 행동 유형, 시간 동적 특성, 댓글 태도를 동시에 모델링한다. 미세블로그 확산의 동적이고 통합된 표현을 학습하고, 쌍별 학습을 통해 뉴스와 비뉴스를 구분함으로써, 신뢰성 평가에서 기존의 특성 엔지니어링 기반 방법들을 능가하는 최고 성능을 달성한다. Sina Weibo 데이터셋에서의 실험 결과, 이는 최신 기술 수준을 초월한다.

ABSTRACT

With the rapid growth of social media, rumors are also spreading widely on social media and bring harm to people's daily life. Nowadays, information credibility evaluation has drawn attention from academic and industrial communities. Current methods mainly focus on feature engineering and achieve some success. However, feature engineering based methods require a lot of labor and cannot fully reveal the underlying relations among data. In our viewpoint, the key elements of user behaviors for evaluating credibility are concluded as "who", "what", "when", and "how". These existing methods cannot model the correlation among different key elements during the spreading of microblogs. In this paper, we propose a novel representation learning method, Information Credibility Evaluation (ICE), to learn representations of information credibility on social media. In ICE, latent representations are learnt for modeling user credibility, behavior types, temporal properties, and comment attitudes. The aggregation of these factors in the microblog spreading process yields the representation of a user's behavior, and the aggregation of these dynamic representations generates the credibility representation of an event spreading on social media. Moreover, a pairwise learning method is applied to maximize the credibility difference between rumors and non-rumors. To evaluate the performance of ICE, we conduct experiments on a Sina Weibo data set, and the experimental results show that our ICE model outperforms the state-of-the-art methods.

연구 동기 및 목표

• 소셜 미디어 뉴스에서 신뢰성 요소 간의 복잡한 상호작용을 모델링하는 데 있어 기존의 특성 엔지니어링 기반 방법의 한계를 해결하기 위해.
• 미세블로그 확산 과정에서 '누가, 무엇을, 언제, 어떻게' 하는지를 동적으로 반영하는 통합된 표현 학습 프레임워크를 개발하기 위해.
• 사용자 신뢰성, 행동 유형, 시간 패턴, 사용자 피드백(댓글)을 동시에 모델링하여 뉴스 탐지 성능을 향상시키기 위해.
• 대규모 소셜 미디어 데이터에서 확장 가능하고 효과적인 신뢰성 평가를 가능하게 하기 위해.
• 실제 정보 관리에 활용할 수 있도록 ICE 모델을 구현한 실시간 시스템(NICE)을 구축하기 위해.

제안 방법

• ICE는 사용자 신뢰성, 행동 유형(예: 게시, 재게시), 시간적 특성(예: 확산 시간), 댓글 태도(예: 의심스러운 또는 특정 정보를 포함하는 댓글)의 네 가지 핵심 신뢰성 요소에 대한 잠재 표현을 학습한다.
• 개별 미세블로그의 동적 표현은 이 네 가지 요소의 표현을 집계함으로써 형성된다.
• 전체 사건의 신뢰성 표현은 확산 체인에 포함된 모든 미세블로그의 동적 표현을 집계함으로써 생성된다.
• 학습 과정에서 뉴스와 비뉴스 인스턴스 간의 신뢰성 차이를 최대화하기 위해 쌍별 학습 전략을 사용한다.
• 심층 신경망을 활용해 신뢰성 요소 간의 비선형 상호작용을 학습함으로써 수동적 특성 엔지니어링에 의존하지 않는다.
• 학습된 ICE 모델을 실시간 웹 기반 애플리케이션(NICE)에 통합하여 Sina Weibo에서 온라인 신뢰성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 기존의 특성 엔지니어링 방법에 비해 표현 학습 접근법이 사용자 신뢰성, 행동, 시간, 피드백 간의 복잡한 통합적 상호작용을 더 잘 모델링할 수 있는가?
• RQ2 통합된 표현 모델은 미세블로그 확산 과정에서 신뢰성의 동적 변화를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 누가, 무엇을, 언제, 어떻게 하는지를 통합적으로 고려한 다중 신뢰성 요소 분석이 개별 특성 분석에 비해 뉴스 탐지 성능을 얼마나 향상시키는가?
• RQ4 제안된 ICE 모델은 다양한 미세블로그 인기 수준에 걸쳐 일반화되어 고성능을 유지할 수 있는가?
• RQ5 대규모 소셜 미디어 데이터셋에서 ICE 모델의 학습 및 추론 시간 측면에서의 확장성은 어느 정도인가?

주요 결과

• ICE는 Sina Weibo 데이터셋에서 모든 최신 기술 수준의 방법들을 능가하며, ICE+Content가 가장 뛰어난 성능을 기록했다.
• 모든 인기 수준(0–100, 100–300, 300–1000, 1000+)에서 높은 성능를 유지하지만, 높은 인기 수준일수록 노이즈로 인해 정확도가 약간 감소했다.
• ICE의 학습 및 테스트 시간은 데이터셋 크기와 선형적으로 증가하여 대규모 데이터에서 양호한 확장성을 입증했다.
• ICE 기반으로 제작된 NICE 시스템은 관련 Weibo 미세블로그를 크롤링하고 분석함으로써 사용자 쿼리에 대한 실시간 신뢰성 평가를 가능하게 했다.
• 제거 실험 결과, '누가, 무엇을, 언제, 어떻게'를 동시에 모델링하는 것이 개별 또는 집계된 특성 접근법보다 성능 향상에 크게 기여하는 것으로 확인되었다.
• 쌍별 학습 목적함수는 뉴스와 비뉴스를 구분하는 능력을 향상시키기 위해 신뢰성 간 거리를 최대화함으로써 효과적으로 기여했다.