[論文レビュー] Quit When You Can: Efficient Evaluation of Ensembles with Ordering Optimization

Serena Wang, Maya R. Gupta+1 more|arXiv (Cornell University)|Jun 28, 2018

Machine Learning and Data Classification参考文献 19被引用数 3

ひとこと要約

本稿では、分類器アンサンブルにおける基本モデルの評価順序とイ早めの停止閾値を同時に最適化することで、平均評価時間を最小化しつつアンサンブル全体の精度を維持する、貪欲なアルゴリズムであるQuit When You Can (QWYC)を提案する。実際の応用では2倍〜4倍の高速化を達成し、特定の状況では4近似保証を提供する。これはヒューリスティックな順序付けやFanら（2002）の先行手法を上回る性能を発揮する。

ABSTRACT

Given a classifier ensemble and a set of examples to be classified, many examples may be confidently and accurately classified after only a subset of the base models in the ensemble are evaluated. This can reduce both mean latency and CPU while maintaining the high accuracy of the original ensemble. To achieve such gains, we propose jointly optimizing a fixed evaluation order of the base models and early-stopping thresholds. Our proposed objective is a combinatorial optimization problem, but we provide a greedy algorithm that achieves a 4-approximation of the optimal solution for certain cases. For those cases, this is also the best achievable polynomial time approximation bound unless $P = NP$. Experiments on benchmark and real-world problems show that the proposed Quit When You Can (QWYC) algorithm can speed-up average evaluation time by $2$x--$4$x, and is around $1.5$x faster than prior work. QWYC's joint optimization of ordering and thresholds also performed better in experiments than various fixed orderings, including gradient boosted trees' ordering.

研究の動機と目的

• アンサンブル分類における平均推論遅延と計算コストを、精度を損なわず低減すること。
• すべての例に対してすべての基本モデルを評価する非効率性、特に一部の例がサブセットによって容易に分類可能な場合の問題に対処すること。
• ヒューリスティックな順序付けや固定されたプルーニング戦略に依存するのではなく、モデルの順序とイ早めの停止閾値を同時に最適化すること。
• 実世界およびベンチマークデータセットに適用可能な実用的でスケーラブルな動的アンサンブルプルーニング用のアルゴリズムを開発すること。
• 順序と閾値の共同最適化が、事前に選択された順序と既存のイ早めの停止メカニズムを組み合わせたものよりも優れていることを実証すること。

提案手法

• T個の基本モデルの最適な評価順序と2T個のイ早めの停止閾値（正例および負例用）を同時に選択する組合せ最適化の目的関数を提案し、平均して評価するモデル数を最小化すること。
• シンプルなイ早めの停止ルールを導入：r番目のモデルの累積スコアが、r番目の正例用閾値ε⁺_rを超える場合、即座に正例と分類する。そうでなければ、次に進む。
• 最適解を近似するための貪欲アルゴリズムであるQuit When You Can (QWYC)を提案し、特定のアンサンブルタイプでは4近似を達成する。
• 4近似保証は、標準的な計算複雑性仮定（P=NPでない限り）のもとでタイトであり、この問題クラスにおける最良の多項式時間近似である。
• 独立に学習されたおよび共同で学習されたアンサンブルの両方に対してこの手法を適用し、ラベルなしテストデータを含む実世界のプロダクションシステムにも適用可能である。
• ラベルなしテストデータを必要としないQWYC*にこのフレームワークを拡張し、データが限られたプロダクション環境での導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルの順序とイ早めの停止閾値の共同最適化は、アンサンブルモデルにおける平均評価時間を顕著に短縮できるか？
• RQ2 この共同最適化問題に対して、多項式時間内に達成可能な理論的近似限界は何か？
• RQ3 QWYCは、ヒューリスティックな順序戦略（例：正解率、多様性、勾配ブースティング順序）と組み合わせたイ早めの停止と比べて、どのように性能を発揮するか？
• RQ4 ラベル付きテストデータが入手不可な実世界の環境でも、この手法は効果的に適用可能か？
• RQ5 より柔軟なイ早めの停止基準を用いる場合、QWYCはFanら（2002）の最先端手法を上回る性能を発揮するか？

主な発見

• QWYCは、ベンチマークおよび実世界のデータセットにおいて、平均評価時間を2倍〜4倍高速化しながら、完全なアンサンブル精度を維持する。
• QWYCの順序と閾値の共同最適化は、勾配ブースティング木の順序を含むあらゆる固定順序よりも、評価時間と精度のトレードオフにおいて優れている。
• QWYC*は、ラベル付きテストデータがなくても、実世界システムにおいてFanら（2002）の手法よりも1.8倍〜4倍の高速な推論を達成する。
• 4近似保証は、標準的な計算複雑性仮定のもとで最適であり、P=NPでない限り、より良い多項式時間近似は不可能である。
• 基本モデルが非常に類似している場合（例：独立に学習されたアンサンブル）でも、QWYCは有効であり、ランダム順序では性能が著しく劣る。
• QWYCの共同最適化は、Fanら（2002）の柔軟なイ早めの停止閾値と任意の事前選択順序を組み合わせたものよりも効果的であり、共同設計の価値を示している。