[論文レビュー] LNEMLC: Label Network Embeddings for Multi-Label Classification

Piotr Szymański, Tomasz Kajdanowicz+1 more|arXiv (Cornell University)|Dec 7, 2018

Text and Document Classification Technologies被引用数 3

ひとこと要約

LNEMLCは、最先端のネットワーク埋め込み技術（例：LINE）を用いてラベルネットワークを埋め込むことで、特徴空間表現を向上させる低複雑性のマルチラベル分類フレームワークを提案する。学習済み埋め込みを介してラベル関係性を入力空間に統合することで、一般化性能と同時ラベル確率推定が向上し、kNNベースラインを著しく上回る性能を達成するとともに、既存の埋め込みベース手法よりも計算コストが低い。

ABSTRACT

Multi-label classification aims to classify instances with discrete non-exclusive labels. Most approaches on multi-label classification focus on effective adaptation or transformation of existing binary and multi-class learning approaches but fail in modelling the joint probability of labels or do not preserve generalization abilities for unseen label combinations. To address these issues we propose a new multi-label classification scheme, LNEMLC - Label Network Embedding for Multi-Label Classification, that embeds the label network and uses it to extend input space in learning and inference of any base multi-label classifier. The approach allows capturing of labels' joint probability at low computational complexity providing results comparable to the best methods reported in the literature. We demonstrate how the method reveals statistically significant improvements over the simple kNN baseline classifier. We also provide hints for selecting the robust configuration that works satisfactorily across data domains.

研究の動機と目的

• 同時ラベル確率をモデル化し、未知のラベル組み合わせに対しても一般化性能を保つ低複雑性マルチラベル手法の不足に対処する。
• ラベルネットワーク構造を関係性情報の源として活用することで、マルチラベル分類性能を向上させる。
• 任意の基本マルチラベル分類器の入力空間をラベルネットワーク埋め込みで拡張することで、汎用的なフレームワークを構築する。
• 既存の問題変換法および埋め込みベース手法と比較して、計算複雑性を低減しつつ高い精度を維持する。
• 分野に依存しないハイパーパrameter設定を提供し、広範なデータドメインで良好な性能を発揮するが、詳細なチューニングを要しない。

提案手法

• 訓練インスタンス全体におけるラベルの共起統計からラベルネットワークを構築し、ノードをラベル、エッジを共起頻度として定義する。
• ネットワーク埋め込みアルゴリズム（例：LINE、node2vec、M-NMF）を適用し、各ラベルを低次元空間（d次元埋め込み空間）に密なベクトルとしてマッピングする。
• 各インスタンスに割り当てられたすべてのラベルの埋め込みベクトルを元の特徴と連結することで、入力特徴空間を拡張する。
• 回帰器（例：kNN、ランダムフォレスト）を用い、入力特徴に基づいて新しいインスタンスの埋め込みラベルベクトルを予測する。
• 要素ごとの加算（またはその他の集約関数）を用いて、各インスタンスのラベル埋め込みを統合し、複合表現を形成する。
• すべての埋め込み次元を同時に予測する共同推論スキームを採用することで、ラベル依存性の効果的なモデル化を実現する。

実験結果

リサーチクエスチョン

• RQ1 ラベルネットワーク埋め込みは、同時ラベル依存性を捉えることで、マルチラベル分類器の一般化性能を向上させ得るか？
• RQ2 入力空間にラベルネットワーク構造を組み込むことで、単純なkNNベースラインに対して統計的に有意な改善が得られるか？
• RQ3 異なるネットワーク埋め込み手法（例：LINE、node2vec、M-NMF）がLNEMLCフレームワークの性能に与える影響は何か？
• RQ4 埋め込み次元、集約関数、ネットワーク重み付けなどのハイパーパrameter設定のうち、多様なデータセットで安定かつ優れた結果をもたらすのはどれか？
• RQ5 LNEMLCは、既存の埋め込みベースマルチラベル手法と比較して、顕著に低い計算複雑性でSOTAの性能を達成できるか？

主な発見

• 正確なLINE埋め込みを用いたLNEMLCは、ベンチマークデータセット全体で全評価指標で第1位を記録し、現在のSOTAを上回った。
• LINE埋め込みにランダムフォレスト回帰を適用したLNEMLCは、最良の既存手法であるCLEMSと比較して、訓練および推論時間が著しく短く抑えられながらも、トップクラスの性能を達成した。
• kNNベースラインに対して統計的に有意な改善を示したが、特に同時確率推定を要する指標で顕著であった。
• 最も優れた設定では、重みなしまたは重み付きラベルネットワークを用い、埋め込み次元を5lに最も近い2の累乗（例：l=500の場合d=4096）に設定した。これは、小さい次元や2の累乗でない次元よりも優れた性能を示した。
• 要素ごとの加算によるラベル埋め込みの集約は、異なる埋め込み手法やデータセットに対して一貫した性能向上をもたらし、頑健であった。
• 提案されたデフォルト設定（1次および2次近接性を考慮したLINE埋め込み、次元d ≈ 5l、加算ベースの集約）は、分野特化のハイパーパrameterチューニングを一切要せず、強力な結果を達成した。