[論文レビュー] Locally Non-linear Embeddings for Extreme Multi-label Learning

Kush Bhatia, Himanshu Jain+3 more|arXiv (Cornell University)|Jul 9, 2015

Text and Document Classification Technologies参考文献 29被引用数 6

ひとこと要約

本稿では、希少（テール）ラベルの局所的距離保存埋め込みを学習することで、正確性とスケーラビリティを向上させる、X1と呼ばれる極端なマルチラベル分類の新規手法を提案する。従来の低ランク埋め込み手法とは異なり、X1は制限的な低ランク仮定を回避し、最先端の埋め込み手法よりも最大35%高いP@1の正確性、およびツリーに基づく手法よりも6%高い正確性を達成している。また、100万ラベルのデータセットにもスケーリング可能であり、LEMLに比べ300倍速い予測を可能としている。

ABSTRACT

The objective in extreme multi-label learning is to train a classifier that can automatically tag a novel data point with the most relevant subset of labels from an extremely large label set. Embedding based approaches make training and prediction tractable by assuming that the training label matrix is low-rank and hence the effective number of labels can be reduced by projecting the high dimensional label vectors onto a low dimensional linear subspace. Still, leading embedding approaches have been unable to deliver high prediction accuracies or scale to large problems as the low rank assumption is violated in most real world applications. This paper develops the X-One classifier to address both limitations. The main technical contribution in X-One is a formulation for learning a small ensemble of local distance preserving embeddings which can accurately predict infrequently occurring (tail) labels. This allows X-One to break free of the traditional low-rank assumption and boost classification accuracy by learning embeddings which preserve pairwise distances between only the nearest label vectors. We conducted extensive experiments on several real-world as well as benchmark data sets and compared our method against state-of-the-art methods for extreme multi-label classification. Experiments reveal that X-One can make significantly more accurate predictions then the state-of-the-art methods including both embeddings (by as much as 35%) as well as trees (by as much as 6%). X-One can also scale efficiently to data sets with a million labels which are beyond the pale of leading embedding methods.

研究の動機と目的

• 実世界のデータにおいて低ランク仮定が破られることが原因で、埋め込みベース手法が希少（テール）ラベルで性能を発揮できない問題に対処する。
• ラベル空間が極めて大きい（例：100万ラベル）場合でも高い予測正確性を維持できるスケーラブルな手法を開発する。
• 局所的埋め込みとアンサンブル学習を組み合わせることで、極端なマルチラベル学習における正確性と効率性のトレードオフを克服する。
• 1サンプルあたり10ms未満の予測時間に短縮することで、FastXMLのようなツリー基盤手法に近い高速な推論を実現する。
• 特に頻度の低いラベルにおいて、複雑なラベル関係を捉えるために、局所的非線形埋め込みがグローバル線形埋め込みを上回ることを示す。

提案手法

• ラベルベクトルの局所的近傍に焦点を当てた、複数の小規模な埋め込みを学習する局所的距離保存埋め込みフレームワークを提案する。
• k-meansクラスタリングを用いてラベル空間を局所的領域に分割し、各クラスタに対して個別の距離保存埋め込みを学習することで、近接するラベル間の対間距離を保持する。
• 各学習器がサンプルのラベルベクトルの埋め込み表現を予測する共通の特徴量から埋め込みへのマッピングを共有することで、このような局所的埋め込みのアンサンブルを訓練する。
• 再構成行列を活用して、埋め込み予測から元のラベル空間を再構成し、効率的なマルチラベル予測を可能にする。
• 局所的なラベル構造を保持しつつ、次元削減によるスケーラビリティを確保するための統合的目的関数を用いて、埋め込み学習プロセスを最適化する。
• 複数のクラスタ間での予測を統合する最終予測パイプラインに、局所的埋め込みのアンサンブルを統合することで、テールラベルにおける耐障害性と正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グローバルな低ランク埋め込みと比較して、局所的非線形埋め込みは、極端なマルチラベル学習における希少ラベルの予測正確性を顕著に向上させるか？
• RQ2 1データポイントに対して複数の局所的埋め込みを学習することは、単一のグローバル埋め込みと比較して、より優れた一般化性能とスケーラビリティをもたらすか？
• RQ3 提案手法は、FastXMLのようなツリー基盤手法に匹敵または上回る予測速度を実現しつつ、高い正確性を達成できるか？
• RQ4 既存の埋め込み手法が計算制約により失敗するような、極めて大きなラベル集合（例：100万ラベル）において、本手法はスケーリング可能か？
• RQ5 性能向上の主な要因は、局所的なラベル構造のより良いモデリングにあるのか、それとも複数の局所モデルにおけるアンサンブル平均化に起因するのか？

主な発見

• X1は、WikiLSHTC や Delicious-Large といった大規模データセットにおいて、最先端の埋め込み手法であるLEMLに比べ、最大35%高いP@1正確性を達成した。
• 同じデータセットにおいて、X1はLEMLに比べP@5正確性を最大22%向上させ、複数の評価指標において一貫した向上を示した。
• X1は、リーディングツリー基盤手法のFastXMLに比べ、P@1およびP@5で6%高い正確性を示し、局所的埋め込みがツリーのアンサンブルを上回る正確性を達成できることを示した。
• X1はWikiLSHTCにおいて1テストポイントあたり8msの予測時間に短縮した—これはLEMLの279msに比べ300倍速く、リアルタイム応用に適した。
• 単一のX1学習器ですら、10個のLocalLEML学習器のアンサンブルを上回る性能を示しており、X1の局所的埋め込み学習戦略が、単純なクラスタリング拡張に比べ優れていることを示している。
• 異なるランダムなクラスタ初期化におけるX1の性能の分散は非常に低く、高次元ラベル空間における本手法の安定性を確認した。