[論文レビュー] Automatic Generation of Language-Independent Features for Cross-Lingual Classification

Sarai Duek, Shaul Markovitch|arXiv (Cornell University)|Feb 12, 2018

Natural Language Processing Techniques参考文献 12被引用数 3

ひとこと要約

本論文は、階層的オントロジー（Wikipedia）を用いて普遍的な意味的特徴を生成する言語に依存しない特徴生成フレームワークを提案する。多言語対応の支援文書から言語特化型インタプリタを構築し、オントロジーの階層構造を活用して欠落言語のための仮想文書を生成することで、混合言語データでの学習が可能となり、標準ベンチマークにおいて既存のベースラインを上回る優れた性能を達成する。

ABSTRACT

Many applications require categorization of text documents using predefined categories. The main approach to performing text categorization is learning from labeled examples. For many tasks, it may be difficult to find examples in one language but easy in others. The problem of learning from examples in one or more languages and classifying (categorizing) in another is called cross-lingual learning. In this work, we present a novel approach that solves the general cross-lingual text categorization problem. Our method generates, for each training document, a set of language-independent features. Using these features for training yields a language-independent classifier. At the classification stage, we generate language-independent features for the unlabeled document, and apply the classifier on the new representation. To build the feature generator, we utilize a hierarchical language-independent ontology, where each concept has a set of support documents for each language involved. In the preprocessing stage, we use the support documents to build a set of language-independent feature generators, one for each language. The collection of these generators is used to map any document into the language-independent feature space. Our methodology works on the most general cross-lingual text categorization problems, being able to learn from any mix of languages and classify documents in any other language. We also present a method for exploiting the hierarchical structure of the ontology to create virtual supporting documents for languages that do not have them. We tested our method, using Wikipedia as our ontology, on the most commonly used test collections in cross-lingual text categorization, and found that it outperforms existing methods.

研究の動機と目的

• 訓練データとテストデータが異なる言語に属するクロスリンガルテキスト分類の課題に対処すること。
• 不完全な機械翻訳に依存し、計算コストが高いため、翻訳ベースの手法の限界を克服すること。
• 階層的オントロジーを用いて文書を共有の意味的特徴空間にマッピングすることで、言語に依存しない分類器を開発すること。
• 特定のオントロジー概念に対して言語特化型の支援文書が不足する場合に、オントロジーの階層構造を用いて仮想文書を生成することで、その問題に対処すること。
• 訓練およびテストセットに任意の言語の組み合わせが存在する場合でも、ターゲット言語のラベル付きデータを必要とせずに、訓練および分類を可能にすること。

提案手法

• 本手法は、階層的かつ言語に依存しないオントロジー（具体的にはWikipediaの概念とカテゴリ）を、言語に依存しない特徴の基盤として用いる。
• 各言語について、その言語における各概念に関連付けられた支援文書（例：Wikipediaの記事テキスト）を用いて、言語特化型インタプリタを構築する。
• インタプリタは、特徴空間へのマッピングを、次元削減を伴わないExplicit Semantic Analysis（ESA）の原則に従って、意味的コンセプトの一致に基づいて行う。
• 本手法では、Wikipediaのカテゴリ階層構造を活用して、言語特化型の文書が不足する概念のための妥当な支援テキストを合成する、新規の仮想文書生成アルゴリズムを提案する。
• 本フレームワークは、訓練および推論における混合言語処理をサポートし、訓練およびテストセットに任意の言語の組み合わせを許容する。
• 分類器は、言語に依存しない特徴ベクトル上で学習され、入力ドキュメントが同様に同じ特徴空間にマッピングされた後、未ラベルドキュメントに適用される。

実験結果

リサーチクエスチョン

• RQ1 多言語オントロジーを用いて、クロスリンガルテキスト分類を可能にする言語に依存しない特徴空間を構築できるか？
• RQ2 任意の言語からのドキュメントを共有の意味的特徴空間にマッピングするための言語特化型インタプリタをどのように構築できるか？
• RQ3 オントロジーの階層構造をどの程度活用して、言語特化型の支援文書が不足する言語のための仮想支援文書を生成できるか？
• RQ4 提案手法は、標準のクロスリンガルテキスト分類ベンチマークにおいて、翻訳ベース手法および他の言語に依存しない特徴手法を上回る性能を示すか？
• RQ5 本フレームワークは、ターゲット言語のラベル付きデータを必要とせずに、訓練およびテストセットに任意の言語の組み合わせを処理できるか？

主な発見

• 提案手法は、標準のクロスリンガルテキスト分類ベンチマークにおいて、既存の翻訳ベース手法および言語に依存しない特徴手法を上回る性能を達成した。
• オントロジー階層構造から生成された仮想文書の使用は、実際の支援文書が欠落する低リソース言語環境において、性能の著しい向上をもたらした。
• 並列コーパスや二国語辞書を必要とせず、訓練およびテストに任意の言語の組み合わせを用いた、効果的なクロスリンガル学習が可能となった。
• SVDに基づく次元削減を実施しないで明示的な意味的コンセプトを保持したことで、特徴を圧縮する手法よりも優れた性能が得られた。
• Wikipediaが知識源として動的であるため、本システムは最新の出来事や出現中の概念に対し、常に最新の状態を維持できる。