[論文レビュー] Efficient Loss-Based Decoding on Graphs For Extreme Classification

Itay Evron, Edward Moroshko+1 more|arXiv (Cornell University)|Mar 8, 2018

Machine Learning and Algorithms参考文献 31被引用数 4

ひとこと要約

本稿では、木構造の代わりにトレリスグラフを用いることで一般化された、極めて多数のクラスを扱う分類のための新しいグラフベースのデコードフレームワークであるWide-LTLSを提案する。この手法は、推論時間とメモリ使用量を対数時間・対数空間の複雑性に保ちつつ、精度を向上させるための損失に基づくデコードを可能にする。LTLSフレームワークを一般化することで、精度、モデルサイズ、推論速度の間で調整可能なトレードオフを実現し、大規模なラベル集合において、従来手法を上回る効率性と予測性能を達成する。

ABSTRACT

In extreme classification problems, learning algorithms are required to map instances to labels from an extremely large label set. We build on a recent extreme classification framework with logarithmic time and space, and on a general approach for error correcting output coding (ECOC) with loss-based decoding, and introduce a flexible and efficient approach accompanied by theoretical bounds. Our framework employs output codes induced by graphs, for which we show how to perform efficient loss-based decoding to potentially improve accuracy. In addition, our framework offers a tradeoff between accuracy, model size and prediction time. We show how to find the sweet spot of this tradeoff using only the training data. Our experimental study demonstrates the validity of our assumptions and claims, and shows that our method is competitive with state-of-the-art algorithms.

研究の動機と目的

• 極めて大きなラベル集合（K >> 10^4）を扱う際の従来の多クラス分類手法のスケーラビリティの限界を克服すること。
• 誤り訂正出力符号（ECOC）を用いた損失に基づくデコードを統合することで、既存の対数時間・対数空間（LTLS）フレームワークの精度の限界を克服すること。
• 極端な分類設定において、予測精度、モデルサイズ、推論時間の間で柔軟なトレードオフを可能にすること。
• 一般化されたグラフ構造を用いることで、対数時間・対数空間の複雑性を維持しつつ、効率的かつ正確なデコードを実現する手法の開発

提案手法

• クラスをトレリスグラフ構造内のパスとして表現することで、LTLSで用いられる二分木の一般化を行い、より表現力が高く柔軟な符号表現を可能にする。
• 誤り訂正出力符号（ECOC）を用い、Allweinら（2001）の理論的境界を活用することで、二値分類器の誤りに対してより頑健な損失に基づくデコードを実現する。
• ハミング距離やハードデコードに依存するのではなく、二値分類器の予測結果に対して一般化されたマージンに基づく損失関数を最小化する損失に基づくデコード戦略を採用する。
• トレリスグラフから符号行列を構築し、非一様的で、場合によっては不均衡な部分問題を誘発することで、学習性の向上と、後処理のプルーニングによるスパarsityの実現を可能にする。
• グラフの階層的構造を活用することで、推論時に符号行列を明示的に格納しないで、O(log K)の時間と空間で動作するデコードアルゴリズムを設計する。
• 訓練データのみを用いて、最適なグラフトポロジーやプルーニング戦略を選択することで、精度、モデルサイズ、推論時間のトレードオフを調整する手法を導入する。

実験結果

リサーチクエスチョン

• RQ1 計算効率を損なうことなく、対数時間・対数空間フレームワークに損失に基づくデコードを効率的に統合できるか？
• RQ2 二分木の代わりにトレリスグラフを用いることで、ECOCベースの極端な分類における精度と柔軟性はどのように向上するか？
• RQ3 グラフベースの符号構造を用いることで、モデルサイズ、推論時間、予測精度のトレードオフをどの程度制御・最適化できるか？
• RQ4 提案手法は、LTLSのような既存の対数時間手法よりも優れた精度を達成しつつ、対数時間・対数空間の複雑性を維持するか？

主な発見

• 提案されたWide-LTLSフレームワークは、学習および推論においてO(log K)の時間・空間複雑性を達成しており、LTLSと同等の効率性を維持しながら、損失に基づくデコードを可能にする。
• トレリスグラフを用いることで、より表現力の高い符号表現が可能になり、損失に基づくデコードにより分類器の誤りに対する耐性が向上し、標準的なLTLSよりも精度が向上する。
• 精度、モデルサイズ、推論時間の間で調整可能なトレードオフをサポートしており、訓練データのみを用いて最適な設定を同定できる。
• 実験的結果から、Wide-LTLSは精度において最先端の極端な分類アルゴリズムと同等の性能を示し、対数時間複雑性を維持している。
• 学習済み重みの後処理によるプルーニングにより、スパarsityを実現し、モデルサイズと推論コストをさらに削減しても、精度の著しい損失は生じない。
• 理論的分析により、本手法がLTLSを特別なケースとして一般化しており、より優れた誤り訂正能力を有するグラフベースECOCの包括的フレームワークを提供することが確認された。