[논문 리뷰] JRC EuroVoc Indexer JEX - A freely available multi-label categorisation tool

Ralf Steinberger, Mohamed Ebrahim외 1명|arXiv (Cornell University)|2013. 09. 20.

Text and Document Classification Technologies참고 문헌 14인용 수 26

한 줄 요약

JEX는 유로보크 설명어를 유럽연합 문서에 자동으로 할당하기 위해 유럽위원회 연구센터(JRC)에서 개발한 무료로 이용 가능한 다중 레이블 분류 도구로, 22개 공식 언어에서 사용할 수 있다. 이 도구는 수동으로 레이블이 부여된 데이터를 기반으로 한 지도 학습을 사용하며, 상호작용형 및 완전 자동화된 방식을 모두 지원하고, 언어 간 특징 벡터를 출력하여 클러스터링 및 표절 탐지와 같은 다국어 자연어 처리 작업에 유용하다.

ABSTRACT

EuroVoc (2012) is a highly multilingual thesaurus consisting of over 6,700 hierarchically organised subject domains used by European Institutions and many authorities in Member States of the European Union (EU) for the classification and retrieval of official documents. JEX is JRC-developed multi-label classification software that learns from manually labelled data to automatically assign EuroVoc descriptors to new documents in a profile-based category-ranking task. The JEX release consists of trained classifiers for 22 official EU languages, of parallel training data in the same languages, of an interface that allows viewing and amending the assignment results, and of a module that allows users to re-train the tool on their own document collections. JEX allows advanced users to change the document representation so as to possibly improve the categorisation result through linguistic pre-processing. JEX can be used as a tool for interactive EuroVoc descriptor assignment to increase speed and consistency of the human categorisation process, or it can be used fully automatically. The output of JEX is a language-independent EuroVoc feature vector lending itself also as input to various other Language Technology tasks, including cross-lingual clustering and classification, cross-lingual plagiarism detection, sentence selection and ranking, and more.

연구 동기 및 목표

• 유로보크 어휘집을 사용하여 공식 EU 문서의 주제 인덱싱을 자동화하는 확장 가능한 다국어 도구 개발.
• 상호작용형 기계 보조 레이블링을 통해 인간의 문서 분류 일관성과 속도를 향상.
• 언어에 관계없이 적용 가능한 특징 벡터를 통해 분류 결과의 재사용을 가능하게 하여 다양한 언어 기반 기술 응용 분야에 활용.
• 재학습 기능을 갖춘 시스템을 제공하여 사용자 정의 문서 컬렉션과 언어 처리 사전 처리 기능을 통해 성능 최적화 지원.
• 다국어 환경에서 상호작용형 및 완전 자동화된 분류 워크플로우 모두를 지원.

제안 방법

• JEX는 유로보크 어휘집에서 수동으로 레이블이 부여된 문서-설명어 쌍을 기반으로 훈련된 지도 학습을 사용하는 다중 레이블 분류 기법을 적용.
• 문서당 다수의 유로보크 설명어를 관련성 우선순위에 따라 할당하기 위해 프로파일 기반 카테고리 순위 매기기 방식을 사용.
• 22개의 EU 공식 언어에 맞는 언어별 분류기들을 별도로 훈련하여 평행 단일 언어 훈련 데이터를 활용.
• 사용자 인터페이스를 통해 자동으로 할당된 설명어를 시각화하고 검토 및 편집할 수 있어 인간의 개입을 통한 정밀 조정이 가능.
• 재학습 모듈을 통해 사용자가 새로운 문서 컬렉션에 맞게 사용자 정의 훈련 데이터를 활용해 분류기를 재학습할 수 있음.
• 문서 표현 방식을 토큰화, 표제어 추출 등의 언어 처리 사전 처리를 통해 수정할 수 있어 분류 정확도 향상 가능.

실험 결과

연구 질문

• RQ1 22개 유럽어에서 다중 레이블 분류 시스템이 문서에 다수의 유로보크 설명어를 효과적으로 할당할 수 있는가?
• RQ2 JEX의 성능은 속도와 일관성 측면에서 수동 분류와 비교해 어떻게 되는가?
• RQ3 JEX가 생성하는 언어 간 특징 벡터가 후속 다국어 자연어 처리 작업에 얼마나 효과적으로 기여하는가?
• RQ4 재학습 모듈이 도메인 특화 문서 컬렉션에 맞게 시스템을 적응시키는 데 얼마나 효과적인가?
• RQ5 언어 처리 사전 처리가 JEX의 설명어 할당 품질에 어떤 영향을 미치는가?

주요 결과

• JEX는 단일 통합 프레임워크를 사용해 22개 공식 EU 언어의 문서에 다수의 유로보크 설명어를 성공적으로 할당.
• 기계 보조 레이블링을 통해 문서 분류의 일관성 향상과 수동 작업 감소를 달성.
• 출력되는 특징 벡터는 언어 간 독립적이며, 클러스터링 및 문장 순위 매기기와 같은 다국어 자연어 처리 작업의 입력으로 적합.
• 상호작용형 및 완전 자동화된 운영 방식을 모두 지원해 생산 환경에서의 탄력적 구현 가능.
• 재학습 모듈을 통해 새로운 도메인에 맞게 분류기를 맞춤 설정할 수 있어 특수 문서 컬렉션에 대한 적응성 향상.
• 언어 처리 사전 처리 옵션을 통해 사용자가 문서 표현 방식을 세밀하게 조정해 분류 성능 향상이 가능.