[논문 리뷰] Cross-lingual Dataless Classification for Languages with Small Wikipedia Presence

Yangqiu Song, Stephen Mayhew외 1명|arXiv (Cornell University)|2016. 11. 13.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 저자원 언어에 대해 작고 위키백과가 없는 언어에서 영어 주제 레이블로 분류할 수 있도록 단어 수준의 번역을 활용하여 대규모 위키백과 언어(대위백과언어, LWL)로 다리를 놓는, 데이터 없는 다국어 문서 분류 방법을 제안한다. 이 방법은 레이블이 없는 훈련 데이터가 전혀 필요 없이도 성능을 달성하며, 언어 유사도 메트릭을 사용해 최적의 LWL 브리지 언어를 자동으로 선택함으로써, 최상의 가능 브리지 언어와 비슷한 성능을 달성한다.

ABSTRACT

This paper presents an approach to classify documents in any language into an English topical label space, without any text categorization training data. The approach, Cross-Lingual Dataless Document Classification (CLDDC) relies on mapping the English labels or short category description into a Wikipedia-based semantic representation, and on the use of the target language Wikipedia. Consequently, performance could suffer when Wikipedia in the target language is small. In this paper, we focus on languages with small Wikipedias, (Small-Wikipedia languages, SWLs). We use a word-level dictionary to convert documents in a SWL to a large-Wikipedia language (LWLs), and then perform CLDDC based on the LWL's Wikipedia. This approach can be applied to thousands of languages, which can be contrasted with machine translation, which is a supervision heavy approach and can be done for about 100 languages. We also develop a ranking algorithm that makes use of language similarity metrics to automatically select a good LWL, and show that this significantly improves classification of SWLs' documents, performing comparably to the best bridge possible.

연구 동기 및 목표

• 최소 또는 전혀 위키백과가 없는 언어에서 문서 분류 문제를 해결한다. 이는 기존의 다국어 데이터 없는 분류(CLDDC) 방법이 제한을 받는 이유이기도 하다.
• 기존 CLDDC 방법이 목표 언어 위키백과가 너무 작아 신뢰할 수 있는 의미 맵핑을 지원하지 못할 경우 발생하는 확장성 장벽을 극복한다.
• 레이블 이름이나 설명만을 사용하여 소위키백과언어(SWL)의 문서를 영어 주제 온톨로지로 분류할 수 있도록 한다.
• 번역 및 분류를 위한 가장 효과적인 대위백과언어(LWL)를 브리지로 선택하는 체계적인 방법을 개발한다.
• 다국어 사전(예: Panlex)을 통한 단어 수준 번역이 전체 문서 번역보다 우수하며, 수천 개의 언어로 확장 가능하다는 것을 입증한다.

제안 방법

• 소위키백과언어(SWL)의 문서를 대위백과언어(LWL)로 단어 수준의 이중어 사전(예: Panlex)을 사용해 번역한다.
• 번역된 LWL 문서를 대상으로 위키백과 기반 의미 표현을 활용해 다국어 데이터 없는 분류(CLDCC)를 수행한다.
• 다국어 명시적 의미 분석(CLESA)을 사용해 영어 레이블과 번역된 문서를 위키백과 개념을 통해 공통된 의미 공간에 매핑한다.
• 언어 유사도 메트릭(예: 체계적, 어휘적, 문법적 특징 등)을 활용해 후보 LWL을 순위 매기고, 각 SWL에 최적의 브리지 언어를 선택한다.
• 기존의 SWL-LWL 쌍을 기반으로 랭킹 모델을 훈련시어 새로운 언어 쌍으로의 브리지 선택을 일반화한다.
• 위키백과 언어 링크 및 역색인 데이터를 활용해 다국어 페이지 간 개념의 동시출현 빈도를 기반으로 의미 표현을 계산한다.

실험 결과

연구 질문

• RQ1 최소한의 위키백과 존재를 가진 언어에서 단어 수준의 번역이 다국어 데이터 없는 분류를 효과적으로 가능하게 할 수 있는가?
• RQ2 주어진 소위키백과언어(SWL)의 분류 성능을 최대화하기 위해 최적의 대위백과언어(LWL)를 자동으로 선택할 수 있는가?
• RQ3 브리지 언어 선택에 언어 유사도 기반 랭킹 모델을 사용할 경우, 무작위 또는 히우리스틱 선택에 비해 분류 정확도가 유의미하게 향상되는가?
• RQ4 단어 수준의 번역과 레이블 없는 데이터만을 사용할 때, SWL에서의 CLDDC 성능이 최상의 가능 브리지 언어에 얼마나 가까워질 수 있는가?
• RQ5 Panlex과 같은 다국어 사전이 확보되어 있다면, 제안된 방법이 수천 개의 언어로 확장 가능한가?

주요 결과

• 제안된 브리지 CLDDC 방법은 소위키백과언어(SWL)의 분류 성능을 크게 향상시켜, 최상의 가능 브리지 언어와 비슷한 성능을 달성한다.
• 언어 유사도 기반의 후보 LWL 순위 매기기가 랜덤 선택 및 히우리스틱 방법보다 우수하며, 랭킹 모델은 새로운 언어 쌍으로도 잘 일반화된다.
• 이 방법은 레이블 없는 데이터와 단어 수준의 사전만을 사용하여 39개 이상의 SWL과 49개 이상의 LWL에 대해 분류를 가능하게 하여, 수천 개의 언어로의 확장성을 입증한다.
• LWL에서의 CLDDC 성능는 클래스당 100~200개의 레이블된 문서를 사용한 지도 학습 방법과 유사하여 의미 공간 구축의 효과성을 입증한다.
• 전체 문서 번역 또는 브리지 선택 없이 단어 수준의 번역만을 사용하는 것보다 성능이 뛰어나, 지능적인 LWL 선택의 중요성을 확인한다.
• Panlex의 다국어 사전(11,000개 이상의 언어 변형 지원)을 활용해 기계 번역 시스템이 일반적으로 지원하는 약 100개 언어를 넘어서는 확장이 가능하다.