[논문 리뷰] Automatic annotation of multilingual text collections with a conceptual thesaurus

Bruno Pouliquen, Ralf Steinberger외 1명|ArXiv.org|2006. 09. 12.

Natural Language Processing Techniques참고 문헌 9인용 수 79

한 줄 요약

이 논문은 다국어 개념 어휘인 EUROVOC를 사용하여 다국어 텍스트 컬렉션을 자동으로 기술어로 주석 처리하는 통계적이고 연관성 기반의 시스템을 제안한다. 이는 다국어 문서 색인 및 연결을 가능하게 하며, 수동 색인된 텍스트로 훈련된 시스템은 인간 평가에서 뛰어난 성능을 보이며, 의미 웹 응용 분야에 적합한 거의 언어에 의존하지 않는 주석 처리를 입증한다.

ABSTRACT

Automatic annotation of documents with controlled vocabulary terms (descriptors) from a conceptual thesaurus is not only useful for document indexing and retrieval. The mapping of texts onto the same thesaurus furthermore allows to establish links between similar documents. This is also a substantial requirement of the Semantic Web. This paper presents an almost language-independent system that maps documents written in different languages onto the same multilingual conceptual thesaurus, EUROVOC. Conceptual thesauri differ from Natural Language Thesauri in that they consist of relatively small controlled lists of words or phrases with a rather abstract meaning. To automatically identify which thesaurus descriptors describe the contents of a document best, we developed a statistical, associative system that is trained on texts that have previously been indexed manually. In addition to describing the large number of empirically optimised parameters of the fully functional application, we present the performance of the software according to a human evaluation by professional indexers.

연구 동기 및 목표

• 공동 개념 어휘를 사용하여 다국어 문서의 자동이고 다국어 간 주석 처리를 가능하게 하기.
• 다양한 언어를 공통의 의미 프레임워크로 매핑하여 문서 검색 및 연결을 지원하기.
• 언어별 적응 최소화를 통한 언어 독립성에 가까운 시스템 개발하기.
• 전문 색인자의 인간 주석 기반 골드 표준을 사용하여 시스템 성능 평가하기.
• 의미 웹 환경에서 다국어 문서 주석 처리를 위한 완전 최적화되고 재사용 가능한 도구 기여하기.

제안 방법

• 수동 색인된 다국어 문서로 훈련된 통계적 연관 모델을 사용하여 새로운 텍스트에 가장 적절한 EUROVOC 기술어를 예측한다.
• 문서 내 단어와 할당된 어휘 용어 간의 동시출현 패턴을 활용하여 의미적 연관성을 추론한다.
• 다양한 언어 간의 다국어 입력을 처리하기 위해 언어에 의존하지 않는 특징 추출 및 정규화를 적용한다.
• 다양한 언어 쌍 간의 주석 정확도를 극대화하기 위해 경험적으로 조정된 다수의 파rameter를 최적화한다.
• 입력 텍스트를 EUROVOC 어휘로 정의된 공통 개념 공간에 매핑하여 다국어 간 일치를 가능하게 한다.
• 전문 색인자의 인간 평가 결과를 사용하여 자동 주석의 품질을 검증한다.

실험 결과

연구 질문

• RQ1 통계적 연관 모델이 개념 어휘를 사용하여 다국어 문서의 고정확도 자동 주석 처리를 달성할 수 있는가?
• RQ2 이러한 시스템이 얼마나 적은 언어별 최적화로도 언어 독립성에 가까이 접근할 수 있는가?
• RQ3 자동 주석 처리 성능이 여러 언어 간 전문 색인 기준과 얼마나 잘 일치하는가?
• RQ4 경험적으로 최적화된 파rameter가 시스템의 주석 정확도에 어떤 영향을 미치는가?
• RQ5 의미 웹 응용 분야에서 다국어 간 문서 연결 및 색인을 효과적으로 지원할 수 있는가?

주요 결과

• 인간 평가에서 높은 성능을 보이며, 전문 색인자 수준의 주석 품질에 근접한다.
• 통계적 연관 모델이 언어 간 효과적으로 일반화되어 거의 언어에 의존하지 않는 성능을 보인다.
• 경험적으로 최적화된 파rameter가 다국어 텍스트 컬렉션 전반의 기술어 예측 정확도를 크게 향상시킨다.
• 다른 언어로 작성된 문서를 동일한 개념 어휘로 매핑하여 다국어 간 문서 연결을 성공적으로 구현한다.
• 의미 웹 응용 분야에서 다국어 색인 및 검색이 요구되는 상황에서 효과적인 방법으로 검증되었다.
• 통제된 어휘를 사용한 다국어 텍스트 컬렉션 자동 주석 처리를 위한 확장 가능하고 재사용 가능한 솔루션을 제공한다.