[論文レビュー] Logarithmic Time Online Multiclass prediction

Anna Choromanska, John Langford|arXiv (Cornell University)|Jun 6, 2014

Machine Learning and Algorithms参考文献 28被引用数 47

ひとこと要約

本稿では、極めて多数のクラスを扱う多値分類のためのオンラインアルゴリズムであるLOMtreeを提案する。この手法は、動的に最適化された意思決定木を構築することで、学習および推論において対数時間計算量$O(\log k)$を達成する。新しい目的関数を用いて各ノードでバランスの取れた、純度の高い分割を生成することで、従来の対数時間法と比較して収束が速く、クラス数が増加するにつれて優れた性能を発揮する。

ABSTRACT

We study the problem of multiclass classification with an extremely large number of classes (k), with the goal of obtaining train and test time complexity logarithmic in the number of classes. We develop top-down tree construction approaches for constructing logarithmic depth trees. On the theoretical front, we formulate a new objective function, which is optimized at each node of the tree and creates dynamic partitions of the data which are both pure (in terms of class labels) and balanced. We demonstrate that under favorable conditions, we can construct logarithmic depth trees that have leaves with low label entropy. However, the objective function at the nodes is challenging to optimize computationally. We address the empirical problem with a new online decision tree construction procedure. Experiments demonstrate that this online algorithm quickly achieves improvement in test error compared to more common logarithmic training time approaches, which makes it a plausible method in computationally constrained large-k applications.

研究の動機と目的

• クラス数$k$が極めて大きい場合に生じる多値分類の計算ボトル neck を解消すること。標準的手法の1対多（OAA）は$\mathcal{O}(k)$のスケーリングを示す。
• 学習および推論時間計算量を両方$O(\log k)$に達成すること。これは最悪ケースにおいて情報理論的に最適である。
• 事前に指定されたまたはランダムな分割に依存せず、オンライン最適化によりラベルの階層構造を動的に学習する手法を開発すること。
• 勾配ベースの手法で容易に最適化できない非凸的かつ離散的なパーティショニング目的関数を最適化する課題を克服すること。
• 理論的保証と現実の多値分類データセットにおける実効的性能の両立を図る実用的なオンラインアルゴリズムを設計すること。

提案手法

• 各ノードの分割に適した新しい目的関数を提案し、ラベルの純度とバランスの両方を促進することで、エントロピーが低い葉を持つ対数的深さの木を保証する。
• トップダウンのオンライン意思決定木構築手順を用い、木の各ノードの分割を、パーティショニング目的関数の微分可能近似を用いた勾配降下法で最適化する。
• 各ノードで線形回帰器をオンライン勾配降下法で学習させることで、メモリおよび計算コストを最小限に抑えつつ、効率的な段階的学習を実現する。
• 木の深さとスワップ耐性に基づく停止基準を導入し、木の拡張中に過学習を防ぐために複雑さを制御する。
• データ分布に応じて動的にスプリットを適応させる一方で、木の深さを対数的サイズに保つ制約を設けることで、固定またはランダムなラベル階層を避ける。
• 検証誤差に基づくプルーニングおよび早期停止機構を実装し、最適なハイパーパramータ（学習率、パス数、停止閾値）を選択する。

実験結果

リサーチクエスチョン

• RQ1 理論的根拠を持つ目的関数を実用的に定式化し、動的でバランスの取れた、純粋なラベルパーティショニングを最適化することで、$O(\log k)$の学習およびテスト時間の達成が可能か？
• RQ2 この目的関数に基づくオンラインツリー構築アルゴリズムの性能は、OAA、Rtree、Filter treeといったベースライン手法と比較して、精度および速度の面でどの程度優れているか？
• RQ3 大規模な多値分類問題において、$O(\log k)$時間法と$O(k)$時間のOAAベースラインとの間のテスト誤差のギャップは、どの程度縮小されるか？
• RQ4 非凸的かつ離散的なパーティショニング目的関数に対して勾配ベース最適化を用いたオンライン学習が、実際の応用で安定的かつ効果的な木構造を生成するか？
• RQ5 特に、OAAが実行不可能なピタバイトスケールのデータセット（ImageNet や ODP）において、$k$の増加に伴うスケーリング特性はどのようになるか？

主な発見

• Aloiデータセットでは、OAAと比較して学習時間が12.8倍速くなり、1例あたりのテスト時間も5.5倍改善された。
• ImageNetおよびODPでは、OAAが学習に非現実的であるにもかかわらず、1例あたりのテスト時間でそれぞれ403.8倍および4038.5倍高速であった。
• すべてのデータセットで、他の対数時間法と比較して最も低いテスト誤差を達成した。Rtree や Filter tree よりも優れており、Isoletでは6.36%（Filter tree は15.10%）の誤差を記録した。
• ImageNet や ODP のような高ノイズデータセットでも、LOMtreeはFilter tree（90.17% 対 92.12%）を上回ったが、差は小さくなった。これはノイズ下でも頑健であることを示している。
• 特に$k$が増加する際、OAA や他の対数時間ベースラインと比較して、テスト誤差の低減がより速く進行した。
• 複数のデータセットにわたり、LOMtreeの性能は安定しており、信頼区間からRtree や Filter tree よりも一貫して優位であることが示された。OAAが実行可能な範囲では、OAAと強い競争力を示した。