[論文レビュー] Log-time and Log-space Extreme Classification

Kalina Jasińska, Nikos Karampatziakis|arXiv (Cornell University)|Nov 7, 2016

Machine Learning and Algorithms参考文献 3被引用数 6

ひとこと要約

この論文は、出力空間を$O(\log C)$本のエッジを持つ有向無閉路グラフ(DAG)で埋め込むことで、極端な多クラスおよび多ラベル分類のための新しいログ時間・ログスペース手法LTLSを提案する。動的計画法（ビタビアルゴリズム）をこのDAGに適用することで、LTLSは$O(k\log k \log C)$の推論時間と$O(\log C)$のモデルサイズを達成し、複数のデータセットにおいてベースライン手法を上回る速度とメモリ効率を実現しながらも、競争力のある精度を維持する。

ABSTRACT

We present LTLS, a technique for multiclass and multilabel prediction that can perform training and inference in logarithmic time and space. LTLS embeds large classification problems into simple structured prediction problems and relies on efficient dynamic programming algorithms for inference. We train LTLS with stochastic gradient descent on a number of multiclass and multilabel datasets and show that despite its small memory footprint it is often competitive with existing approaches.

研究の動機と目的

• 出力クラス数$C$が非常に大きい場合の極端な分類における高い時間的・空間的複雑性に対処すること。
• トレーニングおよび推論の両方で真の対数時間・対数空間複雑性を達成する手法を設計すること。
• モデルのコンactさを保ちながら、確率的勾配降下法を用いた効率的なトレーニングと予測を可能にすること。
• ディープラーニングモデルとの統合およびL1正則化などの既存の最適化手法との連携を可能にすること。
• 多様な多クラスおよび多ラベルデータセットに一般化しやすい構造的予測フレームワークを提供すること。

提案手法

• LTLSは、出力クラスごとに一意に対応するソースからシンクへのパスを持つ$O(\log C)$本のエッジを持つ有向無閉路グラフ(DAG)を構築する。
• DAGの各エッジには学習可能なスコア関数$h_e(x; w)$が関連付けられ、パススコアはエッジスコアの合計で表される。
• 動的計画法（ビタビアルゴリズム）を用いて、エッジ数$E$を用いて$O(E)$時間で最高スコアのパスを計算する。
• 効率的な順位付けのため、トップ-$k$予測は修正版リスト・ビタビアルゴリズムを用いて計算する。
• DAGの構造は、$C$の2進表現に基づいてシンクを状態に接続することで、任意の$C$を扱えるように設計されている。
• 確率的勾配降下法でトレーニング可能な任意のモデル（深層ニューラルネットワークを含む）をサポートし、過学習を軽減するためのL1正則化も可能である。

実験結果

リサーチクエスチョン

• RQ1 多クラスおよび多ラベル分類手法は、トレーニングおよび推論の両方で$O(\log C)$の時間的・空間的複雑性を達成できるか？
• RQ2 LTLSは、OVA、FastXML、LEMLといった既存の手法と比較して、精度、速度、モデルサイズの面でどのように異なるか？
• RQ3 モデルサイズが非常に小さいにもかかわらず、LTLSはどのような状況でワン・オブ・アース（One-Vs-All）分類器と同等の性能を発揮するか？
• RQ4 LTLSは、長尾ラベル分布やスパースラベルを有する大規模データセットにおいて、どの程度効果的か？
• RQ5 DAGのトポロジーおよびエッジスコア関数といった設計選択が、一般化性能および過学習に与える影響は何か？

主な発見

• LTLSは$O(k\log k \log C)$の推論時間と$O(\log C)$のモデルサイズを達成し、極端な分類において真のログ時間・ログスペース複雑性を提供する最初の手法である。
• LSHTC1データセットでは、LTLSは精度@1が0.0950を達成し、ナイーブベースライン（0.0966）を上回り、より複雑なモデルと同等の性能を示したが、モデルサイズは極めて小さい。
• ImageNetデータセットでは、LTLSはモデルサイズ390 MBで精度@1が0.0075を達成し、FastXML（914 MB）およびLOMtree（35 MB）よりも大幅に小さかったが、過学習のため精度は低かった。
• LSHTCwikiデータセットでは、LTLSは精度@1が0.2240、モデルサイズ769 MBを達成し、予測時間（5.43秒 vs. 164.80秒）でFastXMLを大きく上回り、LEML（2896秒）よりも著しく高速であった。また、モデルサイズははるかに小さかった。
• rcv1-regionsデータセットでは、LTLSは精度@1が0.8964を達成し、ナイーブベースライン（0.6576）およびFastXML（0.9328）を上回り、大規模な多ラベルタスクにおいて優れた性能を示した。
• L1正則化を適用することで、LSHTC1およびDmozといった過学習が顕著なデータセットでLTLSの性能が向上し、それぞれ精度@1が0.0950および0.2304を達成した。これは、データスパarsityに対してもロバストであることを示している。