[論文レビュー] Hierarchical Taxonomy-Aware and Attentional Graph Capsule RCNNs for Large-Scale Multi-Label Text Classification

Hao Peng, Jianxin Li+6 more|arXiv (Cornell University)|Jun 9, 2019

Text and Document Classification Technologies参考文献 56被引用数 26

ひとこと要約

本稿では、文書を語順を保持するグラフとしてモデル化することで、非連続的で長距離にわたる意味的関係と局所的な順序依存性の両方を捉える、大規模な多ラベルテキスト分類のための新しいエンドツーエンドフレームワーク、HE-AGCRCNNを提案する。注意メカニズムを備えたLSTM、キャプセルネットワーク、および階層的分類体系に配慮した重み付きマージン損失を統合することで、RCV1およびEUR-Lexデータセットにおいて最先端の性能を達成し、ラベルの階層構造を活用することで、多ラベル分類の正確性を顕著に向上させた。

ABSTRACT

CNNs, RNNs, GCNs, and CapsNets have shown significant insights in representation learning and are widely used in various text mining tasks such as large-scale multi-label text classification. However, most existing deep models for multi-label text classification consider either the non-consecutive and long-distance semantics or the sequential semantics, but how to consider them both coherently is less studied. In addition, most existing methods treat output labels as independent methods, but ignore the hierarchical relations among them, leading to useful semantic information loss. In this paper, we propose a novel hierarchical taxonomy-aware and attentional graph capsule recurrent CNNs framework for large-scale multi-label text classification. Specifically, we first propose to model each document as a word order preserved graph-of-words and normalize it as a corresponding words-matrix representation which preserves both the non-consecutive, long-distance and local sequential semantics. Then the words-matrix is input to the proposed attentional graph capsule recurrent CNNs for more effectively learning the semantic features. To leverage the hierarchical relations among the class labels, we propose a hierarchical taxonomy embedding method to learn their representations, and define a novel weighted margin loss by incorporating the label representation similarity. Extensive evaluations on three datasets show that our model significantly improves the performance of large-scale multi-label text classification by comparing with state-of-the-art approaches.

研究の動機と目的

• 既存のモデルがテキストにおいて非連続的で長距離にわたる意味的関係と局所的な順序依存性を同時に捉えることの制限を解決すること。
• 多ラベルテキスト分類において階層的ラベル依存関係が無視されることで意味的情報の損失が生じる問題を克服すること。
• 複数のテキスト特徴タイプと階層的ラベル構造を一貫して統合できる効率的なディープラーニングフレームワークを設計すること。
• ユークリッド制約に依存する従来の再帰的正則化手法と比較して、計算複雑性を低減すること。
• 文書レベルおよびラベルレベルの構造的情報を活用することで、大規模な多ラベルテキストデータセットにおける分類性能を向上させること。

提案手法

• 文書を語順を保持する単語のグラフとして表現し、正規化された単語行列に変換することで、長距離的および順序依存的な意味的関係を両方保持する。
• 可変長の単語系列ブロックをモデル化するための注意メカニズムを備えたLSTMモジュールを採用し、順序特徴学習を強化するための異なる注意重みを割り当てる。
• 特徴間の階層的空間的関係を学習するためのキャプセルネットワークを統合し、空間的変換に対してより頑健で、特徴の注目を向上させる。
• 分類体系における構造的関係に基づいて、ラベルの階層的構造に配慮した埋め込み手法を設計する。
• ラベル表現の類似性を組み込むことで、一般化性能を向上させるとともに、多ラベル予測における誤差伝搬を低減する、新しい重み付きマージン損失を提案する。
• グラフ畳み込み演算を再帰的ネットワークおよびキャプセルネットワークと組み合わせ、テキストにおける局所的・順序的・グローバルな意味的パターンを同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングフレームワークは、テキストドキュメントにおいて非連続的で長距離にわたる意味的関係と局所的な順序依存性を効果的に捉えることができるか？
• RQ2 階層的ラベル依存関係は、多ラベルテキスト分類性能の向上に向け、どのように効果的にモデル化できるか？
• RQ3 損失関数にラベルの分類体系を組み込むことで、分類精度と一般化性能はどの程度向上するか？
• RQ4 キャプセルネットワークと注意メカニズムを併用することで、標準的なCNN/RNNアプローチと比較して特徴表現がどのように向上するか？
• RQ5 大規模な多ラベルテキスト分類ベンチマークにおいて、提案されたHE-AGCRCNNモデルは最先端のモデルと比較して、性能および効率性においてどの程度優れているか？

主な発見

• 提案されたHE-AGCRCNNモデルは、RCV1およびEUR-Lexデータセットにおいて最先端の性能を達成し、既存のSOTA手法を上回る多ラベル分類性能を示した。
• 注意メカニズムを備えたLSTMの統合により、複雑な文構造を持つ長文においても、局所的な順序的意味的関係のモデリングが顕著に向上した。
• 階層的分類体系に配慮した重み付きマージン損失は、ラベル類似性と構造的階層を活用することで、一般化性能の向上と誤差伝搬の低減を実現した。
• キャプセルネットワーク部は、テキスト特徴間の空間的関係を捉えることで、入力の摂動に対してより頑健な特徴学習を向上させた。
• 単語行列表現は豊かな意味的情報を保持しており、従来のbag-of-wordsやn-gram表現よりも優れた性能を発揮した。
• 大規模データセットにおいて、再帰的正則化に基づくモデルが高い計算コストを負うのと比較して、本モデルは優れた効率性とスケーラビリティを示した。