[논문 리뷰] Synonym search in Wikipedia: Synarcher

Andrew Krizhanovsky|ArXiv.org|2006. 06. 22.

Wikis in Education and Collaboration참고 문헌 4인용 수 20

한 줄 요약

이 논문은 초월링크와 카테고리 구조를 활용하여 위키백과에서 동의어와 관련 용어를 탐색하는 데 적응된 HITS 알고리즘을 사용하는 Synarcher 도구를 제시한다. 결과는 상호작용 가능한 그래프로 시각화되어 사용자가 동의어 후보를 탐색하고 수동으로 필터링할 수 있도록 하며, WordNet이나 Moby Thesaurus에 존재하지 않는 새로운 동의어를 성공적으로 식별하였다. 예를 들어 '로봇'에 대한 '안드로이드'와 '레플리카ント'가 그 예이다.

ABSTRACT

The program Synarcher for synonym (and related terms) search in the text corpus of special structure (Wikipedia) was developed. The results of the search are presented in the form of graph. It is possible to explore the graph and search for graph elements interactively. Adapted HITS algorithm for synonym search, program architecture, and program work evaluation with test examples are presented in the paper. The proposed algorithm can be applied to a query expansion by synonyms (in a search engine) and a synonym dictionary forming.

연구 동기 및 목표

• 위키백과의 구조적 데이터(초월링크 및 카테고리)를 활용하여 언어에 종속되지 않는 동의어 검색 시스템을 개발한다.
• 페이지 키워드와 카테고리 정보를 통합하여 HITS 알고리즘을 적응시켜 동의어 탐지에 활용한다.
• 그래프 기반 인터페이스를 통해 동의어 관계를 탐색할 수 있는 상호작용 가능한 시각화 도구를 구축한다.
• 기존의 어휘자료(예: WordNet, Moby)를 초월하여 시스템이 동의어를 발견할 수 있는 능력을 평가한다.

제안 방법

• 페이지 제목을 키워드 집합으로, 카테고리 소속 관계를 고려하여 HITS 알고리즘을 개선하여 유사도 탐지 능력을 향상시킨다.
• 노드를 기사로, 간선을 초월링크로 간주하는 방향 그래프로 위키백과를 모델링하며, 허브와 권위를 반복적으로 계산한다.
• 쿼리어휘 주변의 동의어 군집을 실시간으로 상호작용 가능한 그래프로 시각화하기 위해 TouchGraph WikiBrowser를 활용한다.
• 사용자가 노드를 동의어로 평가하는 방식으로 상호작용을 허용하며, 선택 사항을 클라이언트 측에서 저장하여 개선한다.
• 성능 저하를 방지하기 위해 2005년 3월 기준 영어 및 러시아어 위키백과의 로컬 복제본을 구축하여 오프라인 계산을 가능하게 한다.
• 카테고리 구조를 기반으로 계층적 군집화를 적용하여 주제별로 관련 용어를 그룹화한다.

실험 결과

연구 질문

• RQ1 적응된 HITS 알고리즘이 위키백과의 초월링크와 카테고리 구조를 활용하여 의미적으로 관련된 용어를 효과적으로 식별할 수 있는가?
• RQ2 기존의 어휘자료(예: WordNet, Moby Thesaurus)와 비교해 동의어 탐지 성능은 어떠한가?
• RQ3 상호작용적 사용자 피드백은 그래프 기반 결과에서 동의어 추출의 정밀도를 얼마나 향상시킬 수 있는가?
• RQ4 기존의 어휘자료에 존재하지 않는 새로운 동의어를 시스템이 발견할 수 있는가?
• RQ5 위키백과의 카테고리 분류 체계를 기반으로 한 계층적 군집화는 얼마나 효과적인가?

주요 결과

• Synarcher는 WordNet이나 Moby Thesaurus에 존재하지 않는 '로봇'에 대한 일곱 가지 동의어를 성공적으로 식별하였다: '안드로이드', '고렘', '호문큘러스', '도모티크스', '레플리카ント', '지각', 그리고 '파라휴먼스'.
• '아스트로나우트'에 대해서는 WordNet에 없는 네 가지 추가 동의어—'코스모나우트', '타이코나우트', '스페이션옵트', 그리고 '스페이스 투어리스트'—를 발견하였다.
• 영어 위키백과(901,861건의 페이지)는 러시아어 위키백과(30,161건의 페이지)보다 훨씬 더 많은 동의어 후보를 제공하였으며, 이는 코퍼스 크기의 영향을 반영한다.
• 시스템은 수동으로 필터링이 필요한 관련 용어 목록을 생성하였으며, 이는 동의어 탐지가 완전히 자동화되지 않았고 전문가의 입력이 유용함을 시사한다.
• 카테고리 구조의 활용은 결과의 계층적 군집화를 가능하게 하여 주제 기반의 동의어 군집 조직을 지원하였다.
• 상호작용 가능한 그래프 인터페이스를 통해 사용자는 동의어 집합을 탐색하고 개선할 수 있었으며, 이는 사용자 참여를 통한 정밀도 향상의 가치를 입증한다.