[논문 리뷰] Data Compression approach to Information Extraction and Classification

Andrea Baronchelli, Vittorio Loreto|arXiv (Cornell University)|2004. 03. 09.

Advanced Computational Techniques and Applications인용 수 1

한 줄 요약

이 논문은 데이터 압축 기법을 활용하여 텍스트 시퀀스 간의 정보적 내용 기반 문법적 원거리성( syntactic remoteness )을 측정함으로써, 새로운 정보 추출 및 분류 프레임워크를 제안한다. 압축 기반 유사도를 활용함으로써, 언어 자동 식별, 저자 할당, 맥락 기반 분류, 보편적 분류 등에 효과적으로 적용되며, 언어학을 초월하여 임의의 문자 시퀀스 데이터에 응용 가능한 응용 분야를 제공한다.

ABSTRACT

In this paper we present a class of general methods for information extraction and automatic categorization. These methods exploit the features of data compression techniques in order to define a measure of syntactic remoteness between pairs of sequences of characters (e.g. texts) based on their relative informatic content. Using this elementary tool it is possible to implement several algorithms to address problems of information retrieval in very different domains. We address in particular several linguistic motivated problems and we present results for automatic language recognition, authorship attribution, context-based classification as well as automatic universal classification. We also discuss in detail how specific features of data compression techniques could be used to introduce the notion of dictionary of a given sequence and of Artificial Text and we show how these new tools can be used for information retrieval purposes. We finally discuss the relevance of our results in non-linguistic fields, i.e. whenever the information is codified in generic sequences of characters. 1

연구 동기 및 목표

• 데이터 압축을 활용한 일반 목적의 정보 추출 및 자동 분류 방법 개발.
• 상대적인 정보적 내용 기반으로 텍스트 시퀀스 간의 문법적 원거리성 측정 기준 정의.
• 압축 기반 기법을 언어 식별, 저자 할당, 맥락 기반 분류와 같은 언어 문제에 적용.
• 정보 검색 향상을 위한 '사전'과 '인공적 텍스트' 개념 도입.
• 일반적인 문자 시퀀스를 포함한 비언어적 영역으로의 적용 범위 확장.

제안 방법

• 텍스트 시퀀스 간의 정보적 내용 기반으로 압축 기반의 문법적 원거리성 측정치를 계산하기 위해 데이터 압축 기법을 활용.
• 압축 기반 유사도를 토대로 텍스트의 군집화 및 분류 기반으로 활용.
• 구조적 패턴을 포착하기 위해 압축 프로파일에서 유도된 '사전' 개념을 도입.
• 압축 특징에서 유도된 합성 시퀀스로, 검색 및 분류를 지원하기 위해 '인공적 텍스트'를 정의.
• 압축 기반 거리 측정 기반으로 자동 언어 식별 및 저자 할당 문제 해결.
• 임의의 문자 시퀀스를 분석 대상으로 간주함으로써 보편적 분류로의 프레임워크 확장.

실험 결과

연구 질문

• RQ1 데이터 압축을 어떻게 활용하여 텍스트 시퀀스 간의 의미 있는 문법적 원거리성 측정치를 정의할 수 있는가?
• RQ2 압축 기반 유사도는 자동 언어 식별 및 저자 할당의 정확도를 어느 정도 향상시킬 수 있는가?
• RQ3 압축 프로파일에서 유도된 '사전' 개념이 정보 검색을 향상시킬 수 있는가?
• RQ4 압축 특징에서 유도된 인공적 텍스트 생성은 분류 작업을 어떻게 지원할 수 있는가?
• RQ5 이 프레임워크는 임의의 문자 시퀀스를 포함한 비언어적 영역으로 일반화될 수 있는가?

주요 결과

• 압축 기반의 문법적 원거리성 측정치는 텍스트 간의 구조적 차이를 효과적으로 포착하여 정확한 분류를 가능하게 한다.
• 압축 기반 특징만을 사용하여도 자동 언어 식별 및 저자 할당에서 뛰어난 성능을 달성한다.
• 압축 프로파일에서 유도된 '사전' 개념은 검색을 위한 시퀀스 구조 모델링에 새로운 방법을 제공한다.
• 압축 특징에서 유도된 인공적 텍스트 생성은 다양한 도메인 간에 강력한 보편적 분류를 가능하게 한다.
• 이 프레임워크는 언어학을 초월하여 문자 시퀀스 데이터가 존재하는 모든 도메인에서 정보 검색에 적용 가능함을 입증한다.
• 언어 전처리가 필요 없이 언어에 종속되지 않는 보편적인 정보 추출 및 분류 방법을 제공한다.