[논문 리뷰] Automatic Generation of Language-Independent Features for Cross-Lingual Classification

Sarai Duek, Shaul Markovitch|arXiv (Cornell University)|2018. 02. 12.

Natural Language Processing Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 계층적 온톨로지(위키백과)를 사용하여 언어에 종속되지 않는 의미적 특징을 생성하는 프레임워크를 제안한다. 다국어 지원 문서로부터 언어별로 특화된 인터프리터를 구축하고, 온톨로지 계층을 활용해 부족한 언어의 가상 문서를 생성함으로써 혼합된 언어 데이터로 훈련할 수 있도록 하며, 표준 벤치마크에서 기존의 기준 성능을 뛰어넘는 성능을 달성한다.

ABSTRACT

Many applications require categorization of text documents using predefined categories. The main approach to performing text categorization is learning from labeled examples. For many tasks, it may be difficult to find examples in one language but easy in others. The problem of learning from examples in one or more languages and classifying (categorizing) in another is called cross-lingual learning. In this work, we present a novel approach that solves the general cross-lingual text categorization problem. Our method generates, for each training document, a set of language-independent features. Using these features for training yields a language-independent classifier. At the classification stage, we generate language-independent features for the unlabeled document, and apply the classifier on the new representation. To build the feature generator, we utilize a hierarchical language-independent ontology, where each concept has a set of support documents for each language involved. In the preprocessing stage, we use the support documents to build a set of language-independent feature generators, one for each language. The collection of these generators is used to map any document into the language-independent feature space. Our methodology works on the most general cross-lingual text categorization problems, being able to learn from any mix of languages and classify documents in any other language. We also present a method for exploiting the hierarchical structure of the ontology to create virtual supporting documents for languages that do not have them. We tested our method, using Wikipedia as our ontology, on the most commonly used test collections in cross-lingual text categorization, and found that it outperforms existing methods.

연구 동기 및 목표

• 훈련 및 테스트 문서가 서로 다른 언어로 구성된 교차 언어 텍스트 분류 문제를 해결하기 위해.
• 부정확한 기계 번역에 의존하고 계산 비용이 높은 번역 기반 방법의 한계를 극복하기 위해.
• 계층적 온톨로지를 사용하여 문서를 공통의 의미적 특징 공간으로 매핑함으로써 언어에 종속되지 않는 분류기 개발을 위해.
• 일부 언어에서 특정 온톨로지 개념에 대한 지원 문서가 부족한 경우, 온톨로지 계층을 활용해 가상 문서를 생성함으로써 이를 해결하기 위해.
• 목표 언어의 레이블이 없는 상태에서도 훈련 및 분류 과정에서 허용 가능한 모든 언어 조합을 처리할 수 있도록 하기 위해.

제안 방법

• 언어에 종속되지 않는 특징의 기초로 계층적이고 언어에 종속되지 않는 온톨로지—특히 위키백과 개념과 카테고리—를 사용한다.
• 각 언어별로 해당 언어에서 해당 개념과 연결된 지원 문서(예: 위키백과 기사 텍스트)를 사용하여 언어별로 특화된 인터프리터를 구축한다.
• 인터프리터는 차원 감소를 위한 SVD를 사용하지 않고, 명시적 의미 분석(ESA) 원리를 활용하여 입력 문서를 의미적 개념 매칭 기반의 특징 벡터로 매핑한다.
• 새로운 가상 문서 생성 알고리즘은 위키백과 카테고리의 계층적 구조를 활용하여 실제 지원 문서가 없는 개념에 대해 유의미한 지원 텍스트를 합성한다.
• 이 프레임워크는 혼합된 언어로 훈련 및 추론을 지원하며, 훈련 및 테스트 세트에서 어떤 언어 조합도 허용한다.
• 분류기는 언어에 종속되지 않는 특징 벡터로 훈련되고, 이후 동일한 특징 공간으로 매핑된 비라벨링된 문서에 적용된다.

실험 결과

연구 질문

• RQ1 다국어 온톨로지를 사용하여 언어에 종속되지 않는 특징 공간을 구성할 수 있는가? 이는 교차 언어 텍스트 분류를 가능하게 한다.
• RQ2 어떻게 하면 어떤 언어에서 온 문서도 공통의 의미적 특징 공간으로 매핑할 수 있는 언어별로 특화된 인터프리터를 구축할 수 있는가?
• RQ3 온톨로지의 계층적 구조를 얼마나 효과적으로 활용하여 실제 문서가 없는 언어의 경우 가상의 지원 문서를 생성할 수 있는가?
• RQ4 제안된 방법은 표준 교차 언어 텍스트 분류 벤치마크에서 번역 기반 및 기타 언어에 종속되지 않는 특징 접근 방식보다 뛰어난 성능을 보이는가?
• RQ5 목표 언어의 레이블이 없더라도, 훈련 및 테스트 세트에서 임의의 언어 조합을 처리할 수 있는가?

주요 결과

• 제안된 방법은 표준 교차 언어 텍스트 분류 벤치마크에서 기존의 번역 기반 및 언어에 종속되지 않는 특징 접근 방식을 모두 뛰어넘는 성능을 달성한다.
• 온톨로지 계층에서 유도된 가상 문서의 사용은 실제 지원 문서가 없는 저자원 언어 환경에서 성능 향상에 크게 기여한다.
• 병행 코퍼스나 双어 사전이 필요 없이도, 훈련 및 테스트에서 허용 가능한 모든 언어 조합을 효과적으로 처리할 수 있다.
• SVD 기반 차원 감소 없이도 명시적 의미 개념을 유지함으로써, 특징을 압축하는 방법보다 더 뛰어난 성능을 달성한다.
• 위키백과의 동적 특성 덕분에 시스템은 최신 이벤트와 새로운 개념에 항상 최신 상태로 유지된다.