[論文レビュー] Subset Labeled LDA for Large-Scale Multi-Label Classification

Yannis Papanikolaou, Grigorios Tsoumakas|arXiv (Cornell University)|Sep 16, 2017

Text and Document Classification Technologies参考文献 13被引用数 4

ひとこと要約

本稿では、推論中にラベル空間を制限することで、大規模なマルチラベル分類における効率性と性能を向上させるスケーラブルなラベル付き潜在ディリクレ配分（LLDA）の変種、サブセットラベル付きLLDA（Subset LLDA）を提案する。この手法は、小規模および大規模データセットの両方で最先端の性能を達成し、従来のLLDAの変種を上回り、FastXML や PfastreXML といったトップクラスのエクストリームマルチラベル手法と競合する。

ABSTRACT

Labeled Latent Dirichlet Allocation (LLDA) is an extension of the standard unsupervised Latent Dirichlet Allocation (LDA) algorithm, to address multi-label learning tasks. Previous work has shown it to perform in par with other state-of-the-art multi-label methods. Nonetheless, with increasing label sets sizes LLDA encounters scalability issues. In this work, we introduce Subset LLDA, a simple variant of the standard LLDA algorithm, that not only can effectively scale up to problems with hundreds of thousands of labels but also improves over the LLDA state-of-the-art. We conduct extensive experiments on eight data sets, with label sets sizes ranging from hundreds to hundreds of thousands, comparing our proposed algorithm with the previously proposed LLDA algorithms (Prior--LDA, Dep--LDA), as well as the state of the art in extreme multi-label classification. The results show a steady advantage of our method over the other LLDA algorithms and competitive results compared to the extreme multi-label classification algorithms.

研究の動機と目的

• ラベル数が数10万にのぼる大規模なマルチラベル学習において、標準的および既存のLLDAの変種のスケーラビリティの限界を解消すること。
• ラベル探索空間を制約することで、推論時間を短縮しながら高い性能を維持する手法の開発。
• Prior-LDA や Dep-LDA を改善するため、関連するラベルサブセットに焦点を当てた二段階推論プロセスを導入すること。
• ラベル集合サイズが 10^4 を超えるエクストリームマルチラベル設定において、効率的な推論を可能にすること。
• 多様な評価指標で競争力のある性能を示す、エクストリームマルチラベル分類のツールキットに新たな手法を貢献すること。

提案手法

• 二段階推論プロセスを提案：まずテストインスタンスに関連するラベルサブセットを特定し、その後、CGS-LLDAアルゴリズムをこのサブセット内でのみ探索するように制限する。
• tf-idf を用いて類似する訓練インスタンスを検索し、それらのラベルを集約して各テストインスタンスの候補ラベルサブセットを形成する。
• 推論中にラベルのスパムを減らした部分空間でのみ、コラプスドギブスサンプリング（CGS）を適用することで、予測時の計算コストを顕著に削減する。
• LLDA の生成モデルフレームワークを維持するが、全ラベル集合のスキャンを避けるように推論を変更する。
• 通常、ラベルの基数（LM）は低く（10^1 のオーダー）、全ラベル集合が大きくてもラベルサブスペース探索は効率的であるという事実を活用する。
• インスタンス類似度に基づいて動的にラベル空間を制限することで、LLDAフレームワークを拡張し、エクストリームラベルセットへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 ラベル数が数10万にのぼるデータセットに対し、修正されたLLDAアプローチは、性能を維持または向上させつつ効果的にスケーリング可能か？
• RQ2 推論中にラベル探索空間を制限することで、予測精度を損なわず、著しい高速化が達成可能か？
• RQ3 大規模なマルチラベルタスクにおいて、Prior-LDA や Dep-LDA の従来のLLDA変種と比較して、Subset LLDA は性能と効率性の面で優れているか？
• RQ4 FastXML や PfastreXML といった最先端のエクストリームマルチラベル分類手法と比較して、Subset LLDA は複数の評価指標でどのように性能を発揮するか？
• RQ5 分類指標とランク指標の間に性能のトレードオフがあるか、また Subset LLDA は一方を他方よりも優遇する傾向があるか？

主な発見

• Subset LLDA は、すべてのデータセットでマイクロ-F およびマクロ-F の平均順位で1位を達成し、Prior-LDA や Dep-LDA を上回っている。
• 67万ラベルを有する Amazon データセットでは、Subset LLDA が精度@1 で 0.220 を達成し、同じ設定で Prior-LDA（0.118）と Dep-LDA（0.286）を大きく上回っている。
• 小規模データセットでは24の評価ケースのうち7つで1位を獲得した一方で、FastXML と PfastreXML はそれぞれ11および6つのケースで首位を記録している。
• 大規模データセットでは、マイクロ-F およびマクロ-F の平均順位で最良の結果を達成しており、分類性能が優れていることが示されている。
• PfastreXML は、プロパティスコアド精度@k 測定値においてすべての手法を上回っており、これはランク付けタスクに特に適していることを示唆している。
• すべてのデータセットにおいて、従来のLLDA変種を一貫して上回っており、複数の設定で統計的に有意な向上（p < 0.05、z検定）を示している。