[論文レビュー] A Modular Deep Learning Approach for Extreme Multi-label Text Classification.

Wei-Cheng Chang, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|May 7, 2019

Text and Document Classification Technologies被引用数 10

ひとこと要約

本論文では、タスクを3段階に分解するモジュラーな深層学習フレームワーク、SLINMERを提案する。3段階とは、意味的ラベルインデックス作成、ニューラルマッチング、効率的なランク付けである。柔軟なラベル表現とモデルアンサンブルを可能にすることで、SLINMERは最先端の性能を達成し、50万ラベルのWikiデータセットにおいて、precision@1を61%から67%まで向上させた。

ABSTRACT

Extreme multi-label classification (XMC) aims to assign to an instance the most relevant subset of labels from a colossal label set. Due to modern applications that lead to massive label sets, the scalability of XMC has attracted much recent attention from both academia and industry. In this paper, we establish a three-stage framework to solve XMC efficiently, which includes 1) indexing the labels, 2) matching the instance to the relevant indices, and 3) ranking the labels from the relevant indices. This framework unifies many existing XMC approaches. Based on this framework, we propose a modular deep learning approach SLINMER: Semantic Label Indexing, Neural Matching, and Efficient Ranking. The label indexing stage of SLINMER can adopt different semantic label representations leading to different configurations of SLINMER. Empirically, we demonstrate that several individual configurations of SLINMER achieve superior performance than the state-of-the-art XMC approaches on several benchmark datasets. Moreover, by ensembling those configurations, SLINMER can achieve even better results. In particular, on a Wiki dataset with around 0.5 millions of labels, the precision@1 is increased from 61% to 67%.

研究の動機と目的

• 巨大なラベル集合を有する現代のアプリケーションにおける極端な多ラベル分類（XMC）のスケーラビリティ課題に対処すること。
• ラベルインデックス作成、インスタンスマッチング、ラベルランク付けの3段階フレームワークによって、多様なXMC手法を統合すること。
• 柔軟な意味的ラベル表現と効率的な推論をサポートする、モジュラーな深層学習アーキテクチャ、SLINMERを開発すること。
• ベンチマークXMCデータセット上で、SLINMERの最先端手法に対する優位性を実証的に検証すること。

提案手法

• フレームワークはXMCを3段階に分解する：意味的表現を用いたラベルのインデックス作成、入力インスタンスと関連するラベルインデックスのマッチング、マッチドインデックスからラベルをランク付けすること。
• SLINMERは、深層学習を用いてインスタンス-ラベル関連性を学習するニューラルマッチングモジュールを採用しており、正確で効率的な検索を可能にする。
• ラベルインデックス作成はモジュラーであり、さまざまな意味的表現をサポートしており、SLINMERの異なる構成が可能である。
• ランク付け段階では、マッチドインデックス集合から関連性の高いラベルを優先順位付けするための効率的なスコアリング機構が用いられる。
• 複数のSLINMER構成をアンサンブルすることで、異なるラベル表現とマッチング戦略を組み合わせ、性能が向上する。
• フレームワークは拡張可能に設計されており、新しい埋め込み手法やランク付けモデルの統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 モジュラーな深層学習フレームワークは、極端な多ラベルテキスト分類のスケーラビリティと正確性を向上させることができるか？
• RQ2 ラベルインデックス作成、マッチング、ランク付けの段階を分離することで、モデルのパフォーマンスと柔軟性はどのように向上するか？
• RQ3 SLINMERフレームワーク内での異なる意味的ラベル表現の影響は、XMCパフォーマンスにどのような影響を及えるか？
• RQ4 複数のSLINMER構成をアンサンブルすることで、大規模データセット上で性能はどの程度さらに向上するか？
• RQ5 ベンチマークデータセット（数百万ラベル）において、SLINMERは最先端のXMC手法と比較してどのように差をつけるか？

主な発見

• SLINMERの複数の個別構成が、ベンチマークデータセット上で既存の最先端XMC手法を上回っている。
• 複数のSLINMER構成をアンサンブルすることで、単一の構成よりもさらに優れたパフォーマンスが得られる。
• 約50万ラベルを有するWikiデータセットにおいて、SLINMERはprecision@1を61%から67%まで向上させた。
• モジュラー設計により、モデル全体の再トレーニングなしに、さまざまな意味的ラベル表現を柔軟に統合できる。
• 3段階フレームワークは、複数の既存のXMC手法を効果的に統合・一般化している。