[논문 리뷰] Hedera: Scalable Indexing and Exploring Entities in Wikipedia Revision History

Tuan Tran, Tu Ngoc Nguyen|arXiv (Cornell University)|2017. 01. 14.

Wikis in Education and Collaboration참고 문헌 2인용 수 4

한 줄 요약

Hedera는 확장 가능하고 Map-Reduce 기반의 프레임워크로, 위키백과의 전체 수정 이력에서 의미적 엔티티의 효율적 인덱싱과 탐색을 가능하게 한다. 소규모 클러스터에서 100만 개의 엔티티에 대해 2.5년 치 수정 이력을 수시간 내에 처리하며, 동적 엔티티 진화 분석을 위한 증분적이고 시간 인식 기반의 인덱싱을 지원하고, ElasticSearch를 통해 실시간 시각화를 제공한다.

ABSTRACT

Much of work in semantic web relying on Wikipedia as the main source of knowledge often work on static snapshots of the dataset. The full history of Wikipedia revisions, while contains much more useful information, is still difficult to access due to its exceptional volume. To enable further research on this collection, we developed a tool, named Hedera, that efficiently extracts semantic information from Wikipedia revision history datasets. Hedera exploits Map-Reduce paradigm to achieve rapid extraction, it is able to handle one entire Wikipedia articles revision history within a day in a medium-scale cluster, and supports flexible data structures for various kinds of semantic web study.

연구 동기 및 목표

• DBpedia와 같은 정적 지식 기반 시스템이 위키백과 콘텐츠의 시간적 동적 변화를 놓치는 한계를 해결하기 위해.
• 정규화된 지식 기반 시스템의 한계를 극복하고, 의미 웹 연구를 위한 위키백과 수정 이력에 대한 확장 가능하고 유연하며 증분적인 분석을 가능하게 하기 위해.
• 중앙집중식 시스템으로는 처리하기에 너무 큰 전체 위키백과 수정 데이터셋을 처리하는 데 발생하는 계산적 과제를 해결하기 위해.
• 시간 인식 기반 인덱싱을 통해 엔티티 진화, 공존 관계, 시간적 관계를 동적 탐색할 수 있도록 지원하기 위해.
• 연구자가 위키백과 내 장기적인 의미적 변화를 프로토타이핑하고 분석할 수 있도록 개방형이고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• Hedera는 원시 위키백과 XML 수정 덤프를 분산 및 병렬 처리하기 위해 Hadoop Map-Reduce 패러다임을 사용한다.
• 엔티티 기반(동일한 엔티티의 수정을 그룹화)과 문서 기반(링크 추적 기능을 갖춘 임의의 분포)의 두 가지 분할 전략을 지원한다.
• 사용자 정의 가능한 프리프로세서는 시간 범위, 엔티티 목록 또는 콘텐츠 유형 기반으로 데이터를 필터링하고, XML 또는 JSON 형식의 Hadoop 파일 분할을 출력한다.
• 변환기 레이어는 네트워크 트래픽을 줄이기 위해 데이터 스트림에 엔티티 탐지, 앵커 텍스트 추출 등의 추출 연산자를 내려보내는 방식을 사용한다.
• 시스템은 증분 업데이트와 시간 기반 쿼리가 가능한 유연한 스키마를 사용해 결과를 ElasticSearch에 인덱싱한다.
• 시간 기반 인덱싱은 앵커 텍스트 및 전체 텍스트 인덱스를 기반으로 하며, 하루 미만의 해상도로 시간에 따른 엔티티 역학을 시각화할 수 있다.

실험 결과

연구 질문

• RQ1 전체 위키백과 수정 이력에서 대규모로 의미적 엔티티를 효율적으로 추출하고 인덱싱할 수 있는 방법은 무엇인가?
• RQ2 중앙집중식 접근 방식과 비교해 병렬 처리된 Map-Reduce 처리의 성능 특성은 장기적인 위키백과 데이터에 대해 어떻게 나타나는가?
• RQ3 시간 기반 앵커 텍스트 및 전체 텍스트 인덱싱은 위키백과 콘텐츠 내 동적 관계와 사건을 어떻게 드러내는가?
• RQ4 증분적 인덱싱이 엔티티 진화 및 공존 패턴의 실시간 탐색을 지원할 수 있는가?
• RQ5 유연하고 확장 가능한 프레임워크인 Hedera를 사용할 경우 위키백과에서 시간적 의미 분석을 수행하는 데 실질적인 이점은 무엇인가?

주요 결과

• Hedera는 8노드 클러스터에서 100만 개의 엔티티에 대해 총 601GB의 압축 해제된 텍스트를 포함한 2.5년 치 위키백과 수정 이력을 몇 시간 내에 처리한다.
• 시스템은 데이터 볼륨이 증가함에 따라 중앙집중식 인덱싱 방법보다 뛰어난 성능을 보이며, 성능 격차는 지수적으로 증가한다.
• 시간 기반 앵커 텍스트 인덱싱은 실세계 사건과 일치하는 '유로 2012' 및 '올림픽 경기' 등의 엔티티 언급 피크를 성공적으로 포착한다.
• 우사인 볼트와 모 파라 등 엔티티 간의 공존 분석은 2012년 夏 올림픽 기간 동안 언급 빈도가 동기화된 피크를 보이며, 시간 기반 관계 탐지의 정확성을 확인한다.
• 유연한 필터와 사용자 정의 추출 논리를 활용해 부분적 또는 시간 필터링된 수정 데이터에서 연구 워크로드를 신속하게 프로토타이핑할 수 있다.