[논문 리뷰] Event Search and Analytics: Detecting Events in Semantically Annotated Corpora for Search and Analytics

Dhruv Gupta|Max Planck Digital Library|2016. 03. 01.

Semantic Web and Ontologies참고 문헌 23인용 수 4

한 줄 요약

이 논문은 이름이 지정된 실체, 지리적 위치, 시간 표현을 사용하여 의미적으로 애너테이션 처리된 텍스트 코퍼스에서 사건을 탐지하고 분석하기 위한 프레임워크를 제안한다. 위키피디아와 프리베이스와 같은 소스로부터의 의미적 애너테이션을 활용함으로써, 대규형 텍스트 컬렉션의 사건 기반 탐색을 통해 정보 검색, 의미 기반 검색, 사건 분석의 향상을 가능하게 한다.

ABSTRACT

In this article, I present the questions that I seek to answer in my PhD research. I posit to analyze natural language text with the help of semantic annotations and mine important events for navigating large text corpora. Semantic annotations such as named entities, geographic locations, and temporal expressions can help us mine events from the given corpora. These events thus provide us with useful means to discover the locked knowledge in them. I pose three problems that can help unlock this knowledge vault in semantically annotated text corpora: i. identifying important events; ii. semantic search; and iii. event analytics.

연구 동기 및 목표

• 의미적으로 애너테이션 처리된 코퍼스에서 사용자 정보 필요에 대한 대체로 사건을 활용하여 전통적 정보 검색을 향상시키기.
• 이름이 지정된 실체, 위치, 시간 표현을 사용하여 텍스트에서 사건을 추출하고 정리함으로써 의미 기반 검색 및 분석을 가능하게 하기.
• 대규형 텍스트 컬렉션에서 시간 순서로 정렬된 사건을 추출함으로써 계산적 문화학 및 디지털 인문학을 지원하기.
• 중요한 사건을 식별하고 검색 결과의 다양성을 증가시키며, 사건 중심 콘텐츠를 요약하기 위한 확장 가능한 알고리즘 개발하기.
• 위키피디아와 같은 커리티드 소스와 YAGO, 프리베이스와 같은 지식 기반을 사용하여 객관적인 평가 기준 마련하기.

제안 방법

• 헤델타임과 SUTime 등의 도구를 통해 추출한 이름이 지정된 실체, 지리적 위치, 시간 표현 등의 의미적 애너테이션을 활용하기.
• 실체의 의미 해소 및 실체 정합을 위해 외부 지식 기반(예: 프리베이스, 위키피디아)에 실체 매핑하기.
• 이벤트를 (질의, 실체, 위치, 시간)로 구성된 4개의 튜플로 표현하고, 텍스트에서 추출한 핵심어를 보완하여 강화하기.
• 텍스트적 유사도 및 시간적 유사도를 계산하기 위해 확률 모델 및 유사도 함수(예: KL-발산) 적용하기.
• 시간, 위치, 실체 등의 다차원적 속성을 기반으로 한 군집 알고리즘을 사용하여 관련된 사건을 탐지하고 그룹화하기.
• 코퍼스 크기에 비례하여 선형적으로 확장 가능한 인덱싱 구조를 활용하여 대규형 사건 분석의 효율성 확보하기.

실험 결과

연구 질문

• RQ1 의미적 애너테이션을 어떻게 활용하여 대규형 텍스트 코퍼스에서 중요한 사건을 탐지하고 정보 검색 성능을 향상시킬 수 있는가?
• RQ2 이름이 지정된 실체, 지리적 위치, 시간 표현을 사건 탐지 및 유사도 계산에 가장 잘 표현하기 위한 수학적 모델은 무엇인가?
• RQ3 검색 결과의 다양성과 신선함을 지원하기 위해 사건 기반 검색 및 분석을 어떻게 설계할 수 있는가?
• RQ4 이벤트 탐지 및 요약 성능 평가에 가장 신뢰할 수 있는 평가 지표와 기준 데이터 소스는 무엇인가?
• RQ5 정확도를 유지하면서도 대규형 의미적 애너테이션 처리된 코퍼스에서 사건 탐지 시스템이 어떻게 효율적으로 확장될 수 있는가?

주요 결과

• 이름이 지정된 실체, 지리적 좌표, 정규화된 시간 간격 등의 의미적 애너테이션은 비정형 텍스트에서 구조화된 사건을 자동으로 탐지하는 데 기여한다.
• 시간적, 공간적, 실체 기반의 다차원 유사도를 사용한 사건 탐지 방법은 관련된 뉴스 스토리와 부상 중인 주제를 더 잘 식별하는 데 기여한다.
• 위키피디아 카테고리 페이지와 커리티드 타임라인을 사용한 평가 방법은 사건 탐지 및 요약 알고리즘의 신뢰할 수 있는 기준 데이터를 제공한다.
• 정밀도, 재현율, F1, α-nDCG와 같은 지표들은 사건 탐지 및 결과 다양화 알고리즘의 성능을 효과적으로 측정하는 데 유용하다.
• 프리베이스와 YAGO와 같은 지식 기반의 통합은 실체의 의미 해소를 향상시키고 확장 가능한 정확한 사건 표현을 지원한다.
• 제안된 프레임워크는 디지털 텍스트 코퍼스에서 시간 순서로 정렬된 사건의 시퀀스로 세계 역사 정보를 추출하고 정리함으로써 계산적 문화학을 실현한다.