[論文レビュー] Cost-Sensitive Tree of Classifiers

Zhixiang Xu, Matt J. Kusner+2 more|PolyPublie (École Polytechnique de Montréal)|Oct 9, 2012

Machine Learning and Data Classification参考文献 29被引用数 75

ひとこと要約

本稿では、コスト-精度のトレードオフに基づき、特定の入力サブ領域に高価な特徴量を動的に割り当てる木構造のアンサンブル、コスト感受性木型分類器（CSTC）を提案する。混合ノルムの緩和を用いてテスト時の期待コストをモデル化し、一括のグローバル損失関数のもとで全分類器を同時に最適化することで、特にウェブ検索ランク付けのような高コスト特徴量が関与する状況において、計算コストのわずか数パーセントで最先端の精度を達成する。

ABSTRACT

Recently, machine learning algorithms have successfully entered large-scale real-world industrial applications (e.g. search engines and email spam filters). Here, the CPU cost during test time must be budgeted and accounted for. In this paper, we address the challenge of balancing the test-time cost and the classifier accuracy in a principled fashion. The test-time cost of a classifier is often dominated by the computation required for feature extraction-which can vary drastically across eatures. We decrease this extraction time by constructing a tree of classifiers, through which test inputs traverse along individual paths. Each path extracts different features and is optimized for a specific sub-partition of the input space. By only computing features for inputs that benefit from them the most, our cost sensitive tree of classifiers can match the high accuracies of the current state-of-the-art at a small fraction of the computational cost.

研究の動機と目的

• 大規模な機械学習アプリケーションにおけるテスト時の計算コストと分類器の精度のバランスをとる課題に対処すること。
• 高価な特徴量の無駄な抽出を回避することで、エネルギーの無駄遣いや金銭的コストを削減すること。
• 入力に依存する動的特徴量選択を可能にし、高価な特徴量を分類性能を向上させる場所にのみ割り当てること。
• 訓練時にテスト時の期待コストを明示的にモデル化する、一貫性のあるコスト感受性学習のフレームワークを提供すること。
• 実世界のデータにおいて、従来のカスケードベースおよび正則化ベースの手法よりも、コスト-精度のトレードオフを優れて達成すること。

提案手法

• 各パスが固有の特徴量セットと入力サブ領域に対応する分類器の木を構築する。
• 入力が木を通過する際の期待テストコストを確率的トレイバーサルフレームワークを用いてモデル化する。
• 混合ノルムの緩和を用いて期待コストを連続的最適化可能に緩和する。
• 精度とテスト時のコストの両方をバランスさせる一括のグローバル損失関数を用いて、全分類器を同時に最適化する。
• 深い、頻繁に通過されないパスでの特徴量抽出を優先するコスト感受性の訓練目的を用いる。
• 予測ノードのファインチューニングを適用し、テスト時のコストを増加させることなくランク付け性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 木構造の分類器システムの期待テストコストをどのようにモデル化・最小化できるか？
• RQ2 分類器のパラメータと特徴量割り当てを同時に最適化することで、精度と計算コストのバランスを取ることは可能か？
• RQ3 入力に依存する特徴量選択を伴う木ベースのアプローチは、バランスの取れた特徴量豊富な学習タスクにおいて、線形カスケードよりも優れた性能を示すか？
• RQ4 木構造内の異なる入力サブ領域において、高価な特徴量の割り当てはどのように変化するか？
• RQ5 CSTCは、厳密な計算予算制約下でも、高いランク付け性能（例：NDCG）をどの程度維持できるか？

主な発見

• CSTCは、Cronus や早期終了ベースラインといった最先端手法と比較して、特に低コスト予算下で顕著に優れたコスト-精度トレードオフを達成する。
• Yahoo! ウェブ検索ランク付けデータセットにおいて、CSTCはベースラインモデルの計算コストの僅か数パーセントで高いNDCGスコアを維持する。
• 高価な特徴量（コスト ≥20）は、主に深く、頻度の低いパスで抽出され、分類が難しい小さな入力サブグループにのみ使用される。
• 安価な特徴量（コスト ≤5）は、木の初期段階で抽出され、容易に分類可能な入力を低コストでフィルタリングする。
• 木構造内での距離が増すにつれて分類器間のジャカード類似度が低下し、異なる領域で異なる特徴量セットが使用されていることが確認された。
• ファインチューニングによるNDCGスコアの向上は最小限であるため、主な性能向上要因は木構造とコストに配慮した特徴量割り当てに起因していると考えられる。