[論文レビュー] Fast classification using sparse decision DAGs

Djalel Benbouzid, Busa-Fekete, Robert+1 more|arXiv (Cornell University)|Jun 27, 2012

Neural Networks and Applications参考文献 22被引用数 35

ひとこと要約

この論文は、分類器選択プロセスをマルコフ決定過程としてモデル化することで、高速で高精度な分類を実現するスパースな意思決定DAG（有向無閉路グラフ）を構築する手法を提案する。インスタンス固有の状態に基づいて外部手法（例：AdaBoost）からベース分類器を動的に選択することで、最小限の精度損失で高速な推論を達成し、特にベース分類器が少ない場合にキャスケード検出器を上回る。また、性能劣化を伴わずに効率的なマルチクラス順序付けが可能となる。

ABSTRACT

In this paper we propose an algorithm that builds sparse decision DAGs (directed acyclic graphs) from a list of base classifiers provided by an external learning method such as AdaBoost. The basic idea is to cast the DAG design task as a Markov decision process. Each instance can decide to use or to skip each base classifier, based on the current state of the classifier being built. The result is a sparse decision DAG where the base classifiers are selected in a data-dependent way. The method has a single hyperparameter with a clear semantics of controlling the accuracy/speed trade-off. The algorithm is competitive with state-of-the-art cascade detectors on three object-detection benchmarks, and it clearly outperforms them when there is a small number of base classifiers. Unlike cascades, it is also readily applicable for multi-class classification. Using the multi-class setup, we show on a benchmark web page ranking data set that we can significantly improve the decision speed without harming the performance of the ranker.

研究の動機と目的

• リアルタイム応用、特にオブジェクト検出とウェブ順序付けにおける高速でスケーラブルな分類のニーズに対応すること。
• 従来のキャスケード検出器の限界（非効率でマルチクラス設定に適応しにくい）を克服すること。
• インスタンス固有の状態に基づいてベース分類器を動的に選択するスパースな意思決定DAGを設計し、推論速度を向上させること。
• 分類器の導入における精度と速度のトレードオフを制御する、単一で解釈可能なハイパーパrameterを提供すること。
• 厳密な速度制約下でも、性能劣化を最小限に抑えつつ、効率的なマルチクラス分類と順序付けを可能とすること。

提案手法

• 意思決定DAGの構築をマルコフ決定過程（MDP）としてモデル化し、各ノードを意思決定状態、各エッジをベース分類器の適用に対応付ける。
• 各状態で、期待報酬（精度向上）とコスト（計算時間）に基づき、ベース分類器を適用するか、終了して予測を行うかを決定する。
• 最適方策を計算するために動的計画法を用い、スパースで効率的なDAG構造を保証する。
• ベース分類器は外部から取得（例：AdaBoostを介して）、訓練データとインスタンス依存の状態遷移に基づいて順序と選択が最適化される。
• MDPフレームワークを複数出力クラスと状態遷移に拡張することで、マルチクラス分類をサポートする。
• MDPにおける探索と活用のバランスを調整することで、単一のハイパーパrameterが精度と推論速度のトレードオフを制御する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動的で適応的な方法により、推論時間を最小限に抑えつつ分類精度を維持する意思決定DAGを構築できるか？
• RQ2 特にベース分類器が少ない場合に、提案手法のスパースDAGは従来のキャスケード検出器と比べて速度と精度の面で優れているか？
• RQ3 MDPベースのアプローチは、マルチクラス分類問題に効果的に拡張可能か？
• RQ4 ウェブページ順序付けにおいて、ランキング性能を劣化させることなく、推論速度をどの程度向上できるか？
• RQ5 精度と速度のトレードオフを原理的かつ解釈可能に制御できる、単一の意味のあるハイパーパラメータが存在するか？

主な発見

• 提案手法は、3つのオブジェクト検出ベンチマークで最先端のキャスケード検出器を上回り、特にベース分類器の数が少ない場合に顕著な優位性を示した。
• ウェブページ順序付けベンチマークでは、意思決定時間に顕著な高速化を達成したが、ランキング性能に悪影響は及ばなかった。
• キャスケードとは異なり、この手法はマルチクラス分類に容易に適用可能である。
• 単一のハイパーパラメータが精度と速度のトレードオフを明確かつ解釈可能な形で制御でき、推論行動への影響が明確に観察された。
• 同じベース分類器を用いても、スパースDAG構造は標準的なキャスケードよりも高速な推論を実現した。
• MDPベースの最適化により、インスタンスごとに最も情報価値の高い分類器のみが選択的に適用されるスパースで効率的なDAGが得られた。