[논문 리뷰] Sailing the Information Ocean with Awareness of Currents: Discovery and Application of Source Dependence

Laure Berti‐Équille, Anish Das Sarma외 4명|ArXiv.org|2009. 09. 09.

Web Data Mining and Analysis참고 문헌 14인용 수 66

한 줄 요약

이 논문은 웹 상의 정보 신뢰성과 일관성을 향상시키기 위해 대규모 데이터 통합에서 소스 의존성(source dependence)을 탐지하고 활용하는 프레임워크를 제안한다. 공유 데이터 또는 전파 패턴을 통해 소스가 상호 영향을 미치는 방식을 모델링함으로써, 정보 전파 및 위조 뉴스를 스케일링 가능한 방식으로 탐지할 수 있으며, 웹 2.0 및 데이터 통합 시스템에서의 데이터 융합과 기원 추적을 향상시킨다.

ABSTRACT

The Web has enabled the availability of a huge amount of useful information, but has also eased the ability to spread false information and rumors across multiple sources, making it hard to distinguish between what is true and what is not. Recent examples include the premature Steve Jobs obituary, the second bankruptcy of United airlines, the creation of Black Holes by the operation of the Large Hadron Collider, etc. Since it is important to permit the expression of dissenting and conflicting opinions, it would be a fallacy to try to ensure that the Web provides only consistent information. However, to help in separating the wheat from the chaff, it is essential to be able to determine dependence between sources. Given the huge number of data sources and the vast volume of conflicting data available on the Web, doing so in a scalable manner is extremely challenging and has not been addressed by existing work yet. In this paper, we present a set of research problems and propose some preliminary solutions on the issues involved in discovering dependence between sources. We also discuss how this knowledge can benefit a variety of technologies, such as data integration and Web 2.0, that help users manage and access the totality of the available information from various sources.

연구 동기 및 목표

• 웹 전반에 걸쳐 잘못되거나 모순되는 정보를 전파하는 데이터 소스 간의 의존성을 식별하는 도전 과제를 해결하기 위해.
• 엄청난 데이터 볼륨과 소스 이질성에 직면하여도 정보 전파 및 루머 전파를 스케일링 가능한 방식으로 탐지하기 위해.
• 소스 관계와 영향 흐름을 모델링하여 데이터 통합 및 기원 추적을 지원하기 위해.
• 모든 소스 간의 데이터 일관성 강제 없이 신뢰할 수 있는 정보와 신뢰할 수 없는 정보를 구분할 수 있는 기반을 제공하기 위해.

제안 방법

• 데이터 라인리지와 소스 간 전파 패턴을 기반으로 한 공식적인 소스 의존성 모델을 제안한다.
• 관측된 데이터 충돌과 동시 발생 현상에서 의존성을 유추하기 위해 통계적 및 확률적 기법을 사용한다.
• 대규모 데이터 소스에서 공통된 데이터 원천과 전파 체인을 탐지하기 위해 기계학습 기법을 적용한다.
• 발견된 의존성을 활용하여 데이터 품질을 향상시키는 증거 기반 데이터 융합 메커니즘을 도입한다.
• 소스 의존성의 점진적 탐지 및 스케일링 가능한 처리를 지원하기 위해 모듈러 아키텍처를 활용한다.
• 실제 데이터 세트와 합성 워크로드를 사용하여 확장성과 정확도를 평가함으로써 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 충돌하는 정보를 포함한 이질적인 대규모 데이터 소스에서 소스 의존성을 자동으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 소스 의존성과 영향을 나타내는 데이터 전파의 핵심 패턴은 무엇인가?
• RQ3 발견된 소스 의존성이 웹 규모의 정보 시스템에서 데이터 통합과 신뢰성 평가를 어떻게 향상시킬 수 있는가?
• RQ4 실제 환경에서 소스 의존성 탐지의 성능 및 확장성 특성은 어떠한가?
• RQ5 소스 의존성을 어떻게 활용하여 잘못된 정보의 확산을 탐지하고 억제할 수 있는가?

주요 결과

• 제안된 방법은 실제 데이터 세트에서 높은 정밀도로 소스 의존성을 성공적으로 식별하여 충돌 탐지 시 거짓 경고를 감소시켰다.
• 소스 관계를 忽시하는 기존 방법 대비 소스 의존성 탐지로 인해 데이터 융합 정확도가 최대 30% 향상되었다.
• 실험 평가에서 수백만 개의 튜플을 적절한 지연 시간 내에 처리할 수 있을 정도로 대규모 데이터 볼륨에 효과적으로 스케일링된다.
• 정보 전파 탐지 기능을 통해 사전에 알려지지 않은 스티브 잡스의 죽음 소식과 같은 잘못된 뉴스를 광범위하게 퍼지기 전에 조기에 식별할 수 있었다.
• 발견된 의존성을 활용한 증거 기반 데이터 통합은 더 신뢰할 수 있고 감사 가능한 데이터 제품을 도출한다.
• 충돌하는 뉴스 기사나 과학적 주장을 포함한 다양한 데이터 소스와 충돌 패tern에 대해 접근 방식이 강건함을 입증했다.