[論文レビュー] LA-HCN: Label-based Attention for Hierarchical Multi-label TextClassification Neural Network

Xinyi Zhang, Jiahao Xu+2 more|arXiv (Cornell University)|Sep 23, 2020

Text and Document Classification Technologies参考文献 26被引用数 4

ひとこと要約

本稿では、ラベルベースのアテンションを用いてラベル階層の各レベルでタスク固有の特徴を抽出する、階層的マルチラベルテキスト分類のための新しいニューラルネットワーク、LA-HCNを提案する。コンponent埋め込みを用いて階層的表現を学習し、分離された局所的およびグローバルなドキュメント埋め込みを採用することで、4つのベンチマークデータセットで最先端の性能を達成するとともに、特定のラベルに関連する解釈可能なアテンション可視化を可能にする。

ABSTRACT

Hierarchical multi-label text classification (HMTC) has been gaining popularity in recent years thanks to its applicability to a plethora of real-world applications. The existing HMTC algorithms largely focus on the design of classifiers, such as the local, global, or a combination of them. However, very few studies have focused on hierarchical feature extraction and explore the association between the hierarchical labels and the text. In this paper, we propose a Label-based Attention for Hierarchical Mutlti-label Text Classification Neural Network (LA-HCN), where the novel label-based attention module is designed to hierarchically extract important information from the text based on the labels from different hierarchy levels. Besides, hierarchical information is shared across levels while preserving the hierarchical label-based information. Separate local and global document embeddings are obtained and used to facilitate the respective local and global classifications. In our experiments, LA-HCN outperforms other state-of-the-art neural network-based HMTC algorithms on four public HMTC datasets. The ablation study also demonstrates the effectiveness of the proposed label-based attention module as well as the novel local and global embeddings and classifications. By visualizing the learned attention (words), we find that LA-HCN is able to extract meaningful information corresponding to the different labels which provides explainability that may be helpful for the human analyst.

研究の動機と目的

• 既存のHMTCモデルが分類器設計に注力する一方で階層的特徴抽出を軽視するという限界を是正すること。
• ラベル階層の各レベルでラベル固有のアテンション機構を学習することで、モデルの解釈可能性と性能を向上させること。
• 分離された局所的およびグローバルなドキュメント埋め込みを用いることで、階層的分類における誤差伝搬を低減すること。
• 階層的ラベル情報の各レベル間での有効な共有を実現しながら、ラベル固有の特徴表現を保持すること。
• ラベルベースのアテンションが標準的なアテンション機構と比較して、より意味的で説明可能な特徴抽出を可能にすることを示すこと。

提案手法

• 各階層的レベルで特定のラベルに関連する語の動的集中を可能にするラベルベースのアテンション機構を導入する。
• 語レベルの特徴と階層的ラベルの間を橋渡しする中間表現としてコンポーネント埋め込みを採用し、ラベル固有の特徴学習を強化する。
• 分離された局所的およびグローバルなドキュメント埋め込みを用いて、局所的およびグローバルな分類ヘッドを別々にサポートし、誤差伝搬を低減する。
• コンポーネント機構を通じて、階層的ラベル情報をレベル間で共有しながらも、ラベル固有の特徴表現を維持する。
• 埋め込みの早期連結を介して統合する、局所的分類（各レベルごと）とグローバル分類（全階層を対象）の二重分類戦略を採用する。
• 各レベルでの予測ラベルに条件づけられたワードアテンションを可能にする階層的アテンション機構を適用し、解釈可能なアテンションマップを実現する。

実験結果

リサーチクエスチョン

• RQ1 ラベルベースのアテンション機構は、ラベル固有のコンテンツに注目することで、階層的マルチラベルテキスト分類における特徴抽出を改善できるか？
• RQ2 局所的およびグローバルなドキュメント埋め込みを分離することで、階層的分類における誤差伝搬が低減されるか？
• RQ3 提案されたコンポーネント埋め込み機構は、階層的レベル間のラベル依存関係を効果的に捉えられるか？
• RQ4 最先端のHMTCモデルと比較して、本モデルはより優れた性能と解釈可能性を達成できるか？
• RQ5 階層的情報共有は、ラベル固有の関連性を保持したまま、分類精度をどの程度向上させるか？

主な発見

• LA-HCNは、4つの公開ベンチマークデータセットにおいて、すべての最先端のニューラルネットワークベースのHMTCモデルを上回り、最高のAU-PRCスコアを達成した。
• アブレーションスタディの結果、コンポーネント埋め込み機構が性能向上に顕著に寄与しており、LA-HCN NC（コンポーネントなし）はバリエーションの中で最も悪い性能を示した。
• 3つのデータセットではグローバル分類が局所分類を常に上回り、両方を組み合わせた場合が最良の結果をもたらした。
• アテンションの可視化結果から、LA-HCNは特定のラベルに関連する語を正しく強調していることが確認された—例として「yoga」が「Exercise」ラベルに、そして「spiritual」が「Philosophy」ラベルに関連して強調されている—これにより解釈可能性が裏付けられた。
• HARNN や HAN とは異なり、ラベルごとに一様なアテンションを適用するのではなく、LA-HCNは各ラベルごとに異なるアテンションパターンを学習し、階層の各レベルでラベル固有の関連性を保持している。
• 「yoga」のような重要な特徴が、広範なレベルでは関連が薄い場合でも、深いレベルにまで保持されるのを効果的に実現しており、強固な階層的特徴伝搬を示している。