[논문 리뷰] Cross Language Text Classification via Subspace Co-Regularized Multi-View Learning

Yuhong Guo, Min Xiao|arXiv (Cornell University)|2012. 06. 27.

Text and Document Classification Technologies참고 문헌 20인용 수 39

한 줄 요약

이 논문은 기계 번역으로 생성된 병렬 문장집을 사용하여 다국어 텍스트 분류를 위한 부분공간 공정규화 다시보기 학습 방법을 제안한다. 병렬 문서의 부분공간 표현 간 일관성을 강제하고 분류 오차를 동시에 최소화함으로써, 다양한 다국어 텍스트 분류 과제에서 유도 학습, 도메인 적응, 다다중 학습 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

In many multilingual text classification problems, the documents in different languages often share the same set of categories. To reduce the labeling cost of training a classification model for each individual language, it is important to transfer the label knowledge gained from one language to another language by conducting cross language classification. In this paper we develop a novel subspace co-regularized multi-view learning method for cross language text classification. This method is built on parallel corpora produced by machine translation. It jointly minimizes the training error of each classifier in each language while penalizing the distance between the subspace representations of parallel documents. Our empirical study on a large set of cross language text classification tasks shows the proposed method consistently outperforms a number of inductive methods, domain adaptation methods, and multi-view learning methods.

연구 동기 및 목표

• 다국어 텍스트 분류에서 레이블링 비용을 줄이기 위해 언어 간 지식을 이행하는 것.
• 저자원 언어에서 레이블이 부족한 문제를 기계 번역으로 생성된 병렬 문장집을 활용하여 해결하는 것.
• 공유 부분공간 표현을 통해 다국어 뷰 간 공동 학습을 통해 분류 성능을 향상시키는 것.
• 분류 오차를 최소화하면서 언어 간 문서 표현을 정렬하는 공정규화 프레임워크를 개발하는 것.

제안 방법

• 기계 번역을 통해 생성된 병렬 문장집을 사용하여 동일한 내용을 서로 다른 언어로 다수의 뷰를 구성한다.
• 각 언어가 별도의 뷰를 형성하고, 각 뷰에 고유한 분류기 적용하는 다다중 학습 프레임워크를 적용한다.
• 병렬 문서 간 부분공간 표현 간 거리에 대한 페널티를 주는 공정규화 항을 적용한다.
• 각 언어의 학습 오차와 공유 부분공간 내에서 언어 간 표현 불일치를 동시에 최소화하는 최적화를 수행한다.
• 차원 축소를 통해 부분공간 표현을 학습함으로써, 서로 다른 언어에서 대응되는 문서가 공유 공간 내에서 가까이 오도록 보장한다.
• 분류 손실과 공정규화 페널티를 결합한 공동 목표 함수를 사용하여 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 병렬 문서의 표현을 다국어 간 정렬함으로써 부분공간 공정규화가 다국어 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 유도 학습, 도메인 적응, 표준 다다중 학습 방법과 비교할 때, 제안된 방법은 다국어 환경에서 어떻게 성능을 내는가?
• RQ3 레이블이 부족한 타겟 언어에서, 공유 부분공간 표현을 통한 공정규화가 일반화 능력을 얼마나 향상시키는가?
• RQ4 분류 오차 최소화와 표현 정렬을 공동 최적화함으로써, 다양한 언어 쌍 간에 일관된 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 다양한 다국어 텍스트 분류 과제에서 베이스라인 유도 학습 방법보다 일관되게 뛰어난 성능을 보였다.
• 특히 저자원 언어 환경에서 도메인 적응 및 표준 다다중 학습 방법보다 뚜렷한 성능 향상을 달성했다.
• 공정규화 구성 요소는 병렬 문서의 부분공간 표현을 정렬하여 언어 간 도메인 이동을 효과적으로 줄였다.
• 실험 결과, 분류 오차 최소화와 표현 정렬을 공동으로 최적화함으로써, 언어 쌍 간에 더 견고하고 일반화 능력이 뛰어난 모델이 도출됨을 확인했다.