[論文レビュー] Multilingual Hierarchical Attention Networks for Document Classification

Nikolaos Pappas, Andréi Popescu-Belis|arXiv (Cornell University)|Jul 4, 2017

Topic Modeling参考文献 36被引用数 48

ひとこと要約

本稿では、文書分類における多言語的相互拡張を可能にするために、言語間で単語および文のエンコーダーと/またはアテンション機構を共有する多言語階層的アテンションネットワーク（MHAN）を提案する。モデルは、8言語および60万件のドキュメントを対象として、重複するラベル集合が存在しない状況でも、パrameter数を減らしながら、低リソースおよびフルリソース設定の両方で単言語ベースラインを上回る性能を示し、効果的な相互拡張を実証している。

ABSTRACT

Hierarchical attention networks have recently achieved remarkable performance for document classification in a given language. However, when multilingual document collections are considered, training such models separately for each language entails linear parameter growth and lack of cross-language transfer. Learning a single multilingual model with fewer parameters is therefore a challenging but potentially beneficial objective. To this end, we propose multilingual hierarchical attention networks for learning document structures, with shared encoders and/or attention mechanisms across languages, using multi-task learning and an aligned semantic space as input. We evaluate the proposed models on multilingual document classification with disjoint label sets, on a large dataset which we provide, with 600k news documents in 8 languages, and 5k labels. The multilingual models outperform strong monolingual ones in low-resource as well as full-resource settings, and use fewer parameters, thus confirming their computational efficiency and the utility of cross-language transfer.

研究の動機と目的

• 各言語に対して個別に訓練する単言語階層的アテンションネットワーク（HAN）の計算非効率性と、言語間相互拡張の欠如を解消すること。
• 実世界の応用で一般的だが困難な状況である、言語間でラベル集合が重複しない状況においても、効果的な多言語文書分類を可能にすること。
• 多タスク学習を用いて、単語および文のエンコーダーやアテンション機構などのコンponentを言語間で共有することで、パrameterの増加を抑えること。
• 低リソースおよびフルリソース設定において、異なる共有戦略（例：共有エンコーダー、共有アテンション、両方）の有効性を評価すること。

提案手法

• モデルは、単語レベルおよび文レベルのエンコーダーを備えた階層的アーキテクチャを採用し、両レベルで重要な情報を集約するためのアテンション機構を備えている。
• 多タスク学習を用いて、言語間でエンコーダーと/またはアテンション機構を同時に学習させ、言語間知識の相互拡張を実現している。
• 入力表現は、整合された意味的空間から得られ、多言語ドキュメントを共有のベクトル空間内で直接比較可能である。
• 全言語にわたる統合最適化目的関数に基づき、交差エントロピー損失を用いてエンドツーエンドでモデルを訓練している。
• 3つのアーキテクチャを評価：エンコーダーのみ共有、アテンションのみ共有、両方共有。性能は言語ペア間で比較されている。
• フレームワークは低リソースおよびフルリソース設定をサポートしており、大規模な多言語ニュースデータセットを用いて、マクロ-F1および正答率で性能を測定している。

実験結果

リサーチクエスチョン

• RQ1 言語間でエンコーダーとアテンション機構を共有することで、特に低リソース設定において、単言語モデルと比較して文書分類性能が向上するか？
• RQ2 ラベル集合が重複しない状況において、高リソース言語（例：英語）からの言語間相互拡張が、低リソース言語（例：アラビア語、ロシア語）の性能向上に寄与するか？
• RQ3 共有戦略（エンコーダー共有、アテンション共有、両方共有）の中で、異なる言語ペアおよびリソースレベルにおいて、最も優れた性能を示すのはどれか？
• RQ4 言語間の類似性が、提案された多言語HANフレームワークにおける言語間相互拡張の有効性にどの程度影響を与えるか？
• RQ5 多言語モデルは、希少で特定のラベルを含む広範なトピックやラベル頻度の範囲に一般化可能か？

主な発見

• 多言語モデルは、低リソースおよびフルリソース設定の両方において、単言語HANを上回る性能を示しており、特にアラビア語やロシア語などの低リソース言語で最大の向上が観察された。
• 低リソース状況では、エンコーダーとアテンション機構の両方を共有した場合が最良の性能を示し、構造的コンponentを共有することで、より強い知識の相互拡張が達成されることを示している。
• フルリソース状況では、アテンション機構のみを共有した場合が最良の性能を示し、十分なデータがある状況ではアテンションの適応がより有益であることを示している。
• 多言語モデルと単言語モデルの真陽性数の累積差は、ラベル頻度が低下するにつれて増加し、希少ラベルが言語間相互拡張により著しく利益を受けることが示された。
• t-SNEプロットにおいて、特に「ヨーロッパ」と「文化」のようなトピックで、より良いトピック分離が達成されており、多言語知識のおかげで意味的クラスタリングが向上していることが示された。
• フレームワークは計算的にも効率的であり、個別に訓練する単言語モデルよりもパrameter数を減らしており、共通のラベル集合が不要な多言語分類をサポートしている。