[論文レビュー] Hyperbolic Interaction Model For Hierarchical Multi-Label Classification

Boli Chen, Xin Huang+3 more|arXiv (Cornell University)|May 26, 2019

Text and Document Classification Technologies参考文献 45被引用数 9

ひとこと要約

本稿では、階層的マルチラベルテキスト分類のための新規手法であるハイパーボリック相互作用モデル（HyperIM）を提案する。この手法は、階層構造を保持するために単語とラベルをハイパーボリック空間に同時に埋め込む。ハイパーボリック空間の木構造的幾何学的性質を活用することで、ラベルに配慮したドキュメント表現学習を向上させ、ベンチマークデータセットにおいて最先端の性能を達成し、ユークリッド基準や既存手法を上回る。

ABSTRACT

Different from the traditional classification tasks which assume mutual exclusion of labels, hierarchical multi-label classification (HMLC) aims to assign multiple labels to every instance with the labels organized under hierarchical relations. Besides the labels, since linguistic ontologies are intrinsic hierarchies, the conceptual relations between words can also form hierarchical structures. Thus it can be a challenge to learn mappings from word hierarchies to label hierarchies. We propose to model the word and label hierarchies by embedding them jointly in the hyperbolic space. The main reason is that the tree-likeness of the hyperbolic space matches the complexity of symbolic data with hierarchical structures. A new Hyperbolic Interaction Model (HyperIM) is designed to learn the label-aware document representations and make predictions for HMLC. Extensive experiments are conducted on three benchmark datasets. The results have demonstrated that the new model can realistically capture the complex data structures and further improve the performance for HMLC comparing with the state-of-the-art methods. To facilitate future research, our code is publicly available.

研究の動機と目的

• マルチラベルテキスト分類における複雑な階層的ラベル構造をモデル化する課題に対処すること。
• ハイパーボリック空間の内在的な木構造的幾何学的性質を活用して、階層的マルチラベル分類（HMLC）の性能を向上させること。
• ハイパーボリック空間における単語とラベルの同時埋め込みを通じて、語彙的意味的関係を明示的にモデル化すること。
• 部分的相互作用とネガティブサンプリングを用いることで、大規模なラベル空間における計算コストを低減すること。
• アブレーションと実験的評価を通じて、ハイパーボリック空間がHMLCにおいてユークリッド空間を上回る優位性を示すこと。

提案手法

• HyperIMは、ハイパーボリック空間のポアンカレボールモデルを用いて、ドキュメントの単語とラベルを同時に埋め込むことで、階層的関係を保持する。
• 語彙的意味的類似度の計算に、ハイパーボリック空間におけるモビウス加法と測地線距離を用いる。
• 埋め込みベクトルにスコア関数を適用することで、単語とラベルの類似度を集約し、ラベルに配慮したドキュメント表現を構築する。
• 大規模なラベル集合におけるスケーラビリティを向上させるために、部分的相互作用とネガティブサンプリングを採用する。
• ハイパーボリック空間におけるモデルパラメータの学習にリーマン型の適応的最適化を用い、勾配はハイパーボリック計量により再スケーリングされる。
• 予測は、正解ラベル確率ベクトルと予測確率ベクトルの間の交差エントロピー損失を最小化することで実行される。

実験結果

リサーチクエスチョン

• RQ1 ハイパーボリック空間は、ユークリッド空間と比較して、マルチラベルテキスト分類における階層的ラベル構造をより効果的に表現できるか？
• RQ2 ハイパーボリック空間における単語とラベルの同時埋め込みは、ラベルに配慮したドキュメント表現学習を向上させることができるか？
• RQ3 提案されたHyperIMモデルは、階層的マルチラベル分類のベンチマークで最先端の性能を達成できるか？
• RQ4 部分的相互作用とネガティブサンプリングの使用は、大規模なラベル空間におけるスケーラビリティと性能にどのように影響するか？
• RQ5 ハイパーボリック幾何学による階層的構造の保持は、HMLCにおける末尾ラベルの誤りをどの程度低減できるか？

主な発見

• HyperIMは、3つのベンチマークHMLCデータセットにおいて最先端の性能を達成し、全評価指標で既存手法を上回った。
• アブレーションスタディにより、ハイパーボリック空間はユークリッド空間に比べて顕著に性能を向上させ、特に階層的ラベル相関を捉える能力が優れていることが確認された。
• 可視化結果から、ハイパーボリック埋め込みは明確な階層的パスを保持している一方、ユークリッド埋め込みは交差するパスを示し、ラベル関係を曇らせることがわかった。
• ハイパーボリック幾何学によるより良い構造的インダクティブバイアスのおかげで、モデルは希少な末尾ラベルからも効果的に学習できた。
• ネガティブサンプリングと部分的相互作用により、メモリ使用量が削減され、学習効率が向上したが、性能に悪影響を与えることなく実現された。
• ハイパーボリック空間における単語とラベルの同時埋め込みにより、ドキュメントとラベル間の意味的類似度測定がより正確かつ解釈可能になった。