[論文レビュー] Logarithmic Time One-Against-Some

Hal Daumé, Nikos Karampatziakis+2 more|arXiv (Cornell University)|Jun 15, 2016

Machine Learning and Algorithms参考文献 13被引用数 13

ひとこと要約

この論文では、クラス数に対して対数時間計算量を達成するために、動的に構築された木構造を用いてスコアリングのための候補クラスの小さなサブセットを選択する、新しいオンライン還元手法である Recall Tree を提案する。1対多予測と木構造、ルーティング関数、クラス予測子の共同最適化を組み合わせることで、1対すべて（OAA）と同等の性能を達成しつつ、K が大きい場合に指数的スピードアップを実現し、メモリ使用量は2倍にしか増加しない。

ABSTRACT

We create a new online reduction of multiclass classification to binary classification for which training and prediction time scale logarithmically with the number of classes. Compared to previous approaches, we obtain substantially better statistical performance for two reasons: First, we prove a tighter and more complete boosting theorem, and second we translate the results more directly into an algorithm. We show that several simple techniques give rise to an algorithm that can compete with one-against-all in both space and predictive power while offering exponential improvements in speed when the number of classes is large.

研究の動機と目的

• クラス数 K が非常に大きい場合の効率的な多クラス分類の課題に対処すること。
• 1対すべて（OAA）—現在のゴールドスタンダード—と同等の予測精度を維持しつつ、計算コストを大幅に削減する手法を開発すること。
• K に対して対数時間計算量を達成するオンライン学習を可能とし、リアルタイムかつスケーラブルな学習システムを支援すること。
• 従来の木構造ベースのアプローチと比較してメモリ使用量を削減し、OAA の実用的で即座に置き換え可能な代替手段とすること。
• エンドツーエンドでオンラインな形で、木構造、ルーティング関数、最終予測子を共同最適化すること。

提案手法

• アルゴリズムは、動的に構築された木構造を用いて、候補クラスを O(log K) のサイズに段階的に絞り込む。これにより、必要なクラススコアの数を削減する。
• 各内部ノードでは、二値分類器（ルーター）がパスを決定し、ルーティング意思決定は、候補セットのカバー率を最大化するために経験的リcallバウンドによってガイドされる。
• 最終的な予測は、リーフノードの候補クラスに対して1対多（OAS）スコアリングを用い、各クラスの予測子を用いて行う。
• 木構造と予測子はオンラインで共同学習され、最小限のメモリオーバーヘッドでエンドツーエンド最適化が可能になる。
• 推論時に例にパス特徴を追加し、木をたどる経路を符号化することで、最終予測の精度を向上させる。
• 新たなブースティングスタイルの境界を含む、見直された理論的分析により、アルゴリズムの性能保証が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 木構造ベースの多クラス分類器は、対数時間計算量と、1対すべて（OAA）と同等の予測精度を両立できるか？
• RQ2 極めて多クラスな問題において、オンライン環境で木構造、ルーティング関数、最終予測子をどのように共同最適化できるか？
• RQ3 パス特徴と1リーフあたり複数の予測子を導入することで、候補セット選定プロセスの性能はどの程度向上するか？
• RQ4 正則化に経験的バーラインド・バウンドを用いることで、少数サンプルの状況下で一般化性能が顕著に向上するか？
• RQ5 メモリ使用量が2倍にしか増加しない手法が、大規模な K に対して OAA を速度面で上回りつつ、精度を同等に維持できるか？

主な発見

• ALOI データセットでは、OAA がベクトル化により高速であるにもかかわらず、Recall Tree は OAA よりも優れた予測性能を達成した。
• 約 10^5 個のクラスを有する ODP データセットでは、OAA の学習時間は1コアで Recall Tree と同等であったが、推論時間は Recall Tree が300倍高速であった。
• LTCB データセットでは、乗数が1の経験的バーラインド・バウンドを用いることで、テスト誤差が91%から78%に低下し、強力な正則化効果が示された。
• パス特徴と1リーフあたり複数の予測子の追加により、性能が顕著に向上したが、候補セットサイズが2のときを除き、すべての差異が統計的に有意（p < 0.0001）であった。
• ALOI では、ハイパーマシン評価数を50（OAA の1000対比）に削減しながらも、競争力ある精度を維持した。これは、K が大きい場合の漸近的利点を強く示している。
• Recall Tree は、OAA と同等の精度を維持しながら、最大64倍のメモリ使用量削減を達成し、LOMTree よりも精度とメモリ効率の両面で優れていた。