[論文レビュー] Neural Message Passing for Multi-Label Classification

Jack Lanchantin, Arshdeep Sekhon+1 more|arXiv (Cornell University)|Apr 17, 2019

Text and Document Classification Technologies参考文献 48被引用数 5

ひとこと要約

本稿では、ラベルを完全結合グラフ上のノードとして扱うことで、マルチラベル分類におけるラベルの結合的依存関係をモデル化する、注目メカニズムを用いた新規なメッセージパッシングフレームワークであるLabel Message Passing (LaMP)ニューラルネットワークを提案する。特徴量からラベル、およびラベル同士のメッセージパッシングを自己注意機構を用いて反復的に更新することで、7つのデータセットで最先端の性能を達成するとともに、解釈可能で並列化可能かつ構造に依存しない予測を可能にする。

ABSTRACT

Multi-label classification (MLC) is the task of assigning a set of target labels for a given sample. Modeling the combinatorial label interactions in MLC has been a long-haul challenge. We propose Label Message Passing (LaMP) Neural Networks to efficiently model the joint prediction of multiple labels. LaMP treats labels as nodes on a label-interaction graph and computes the hidden representation of each label node conditioned on the input using attention-based neural message passing. Attention enables LaMP to assign different importance to neighbor nodes per label, learning how labels interact (implicitly). The proposed models are simple, accurate, interpretable, structure-agnostic, and applicable for predicting dense labels since LaMP is incredibly parallelizable. We validate the benefits of LaMP on seven real-world MLC datasets, covering a broad spectrum of input/output types and outperforming the state-of-the-art results. Notably, LaMP enables intuitive interpretation of how classifying each label depends on the elements of a sample and at the same time rely on its interaction with other labels. We provide our code and datasets at https://github.com/QData/LaMP

研究の動機と目的

• マルチラベル分類（MLC）における組み合わせ的ラベル相互作用をモデル化する課題に取り組むこと。これはNP困難であり、従来の手法ではしばしば無視されている。
• 入力特徴量に条件づけられたラベル依存関係を同時にモデル化する手法を開発し、密度の高いラベル集合に対して正確かつスケーラブルな予測を可能にすること。
• 事前に定義されたラベル相互作用構造を必要とせず、多様な入力および出力データ構造に適用可能な、解釈可能で並列化可能で柔軟なモデルを構築すること。
• RNNベースの分類チェーンのような逐次モデルの限界を克服すること。これらは密度の高いラベル設定において誤差伝搬とスケーラビリティの欠如を抱える。
• 注目メカニズムを用いてラベル→特徴量およびラベル→ラベルの依存関係を直感的に可視化することで、モデルの解釈性を向上させること。

提案手法

• LaMPはラベルを完全結合ラベル相互作用グラフ上のノードとして扱い、入力特徴量と隣接ラベルに基づいて各ラベルの隠れ表現をニューラルメッセージパッシングで更新する。
• モデルは多頭部自己注意機構を用い、メッセージパッシング中に隣接ラベルの重要性を動的に割り当て、入力に応じた条件付きラベル依存関係を学習する。
• 特徴量→ラベルのメッセージパッシングは、入力特徴量に注目することでラベル表現を更新する。一方、ラベル→ラベルのメッセージパッシングは、他のラベル状態に注目することでそれらを精緻化する。
• 最終的な予測は、複数のメッセージパッシングステップを経た後のラベル埋め込み状態に読み出し関数を適用することで生成される。
• 構造に依存しない学習（完全結合グラフ）と構造に配慮した学習（既知のラベルグラフが提供される場合）の両方をサポートし、注意は既知の隣接ノードに制限される。
• アーキテクチャは完全に微分可能でエンドツーエンド学習可能であり、RNNベースの分類チェーンのような逐次モデルとは異なり、並列学習と推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを用いたニューラルメッセージパッシングは、マルチラベル分類における出力ラベルの共同表現を効果的に拡張できるか？
• RQ2 このような手法は、密度の高いラベル集合に対して解釈可能でスケーラブルでありながら、最先端の性能を達成できるか？
• RQ3 ラベル→ラベルおよびラベル→特徴量の注目メカニズムは、予測精度の向上とモデルの解釈性にどのように寄与するか？
• RQ4 LaMPは、RNN Seq2Seqのような逐次モデルに比べて、精度と推論速度の両面でどの程度優れているか？
• RQ5 モデルは、ラベルグラフの事前知識がなくても、データから条件付きラベル依存関係構造を自動で学習できるか？

主な発見

• LaMPは、テキスト、画像、表形式、分子データを含む7つの実世界のマルチラベル分類データセットにおいて、5つの評価指標で最先端または競争力のある性能を達成した。
• SIDERデータセットでは、推論時にRNN Seq2Seq（ビームサーチに依存）と比較して21倍の高速化を達成した。
• TFBSデータセットでも、推論時に4.2倍の高速化を示し、スケーラビリティと並列化可能性を実証した。
• 可視化結果から、'web design'、'design'、'html'などのラベルがラベル同士のメッセージパッシング後に予測信頼度が著しく上昇しており、学習された依存関係が裏付けられた。
• 注目重みの分析から、'web design'ラベルが初期の特徴量→ラベル更新段階で'pick'、'smart'、'version'といった特徴量に注目していることが判明し、初期の予測パターンの説明が可能になった。
• 後続のメッセージパッシングステップでは、高次のラベル相互作用が適切に捉えられており、2番目のステップでの注目パターンが複雑なラベル依存関係を反映していた。