[論文レビュー] Efficient Learning by Directed Acyclic Graph For Resource Constrained Prediction

Joseph Wang, Kirill Trapeznikov+1 more|arXiv (Cornell University)|Oct 26, 2015

Machine Learning and Algorithms参考文献 26被引用数 28

ひとこと要約

本稿では、テスト時の取得コストを最小限に抑えつつ高い分類精度を維持するため、費用対効果に優れたデータ依存の意思決定ルールを学習する、有向無閉路グラフ（DAG）に基づく適応的センサ取得システムを提案する。動的計画法を用いてグローバルな経験的リスク最小化問題を一連のコスト感受性学習サブ問題に還元することで、ベイズリスクに収束し、小規模および大規模なセンサ集合の両方で最先端の手法を上回る性能を達成する。

ABSTRACT

We study the problem of reducing test-time acquisition costs in classification systems. Our goal is to learn decision rules that adaptively select sensors for each example as necessary to make a confident prediction. We model our system as a directed acyclic graph (DAG) where internal nodes correspond to sensor subsets and decision functions at each node choose whether to acquire a new sensor or classify using the available measurements. This problem can be naturally posed as an empirical risk minimization over training data. Rather than jointly optimizing such a highly coupled and non-convex problem over all decision nodes, we propose an efficient algorithm motivated by dynamic programming. We learn node policies in the DAG by reducing the global objective to a series of cost sensitive learning problems. Our approach is computationally efficient and has proven guarantees of convergence to the optimal system for a fixed architecture. In addition, we present an extension to map other budgeted learning problems with large number of sensors to our DAG architecture and demonstrate empirical performance exceeding state-of-the-art algorithms for data composed of both few and many sensors.

研究の動機と目的

• 予算制約下での分類システムにおけるテスト時のセンサ取得コストを低減すること。
• 例に応じた情報量とコストに基づいてセンサを選択する適応的意思決定ルールを学習すること。
• 内部ノードに意思決定関数を配置する有向無閉路グラフ（DAG）としてセンサ取得プロセスをモデル化すること。
• 固定されたDAGアーキテクチャに対して最適ポリシーに収束する効率的な学習アルゴリズムを開発すること。
• サブモジュラ近似とサブセットグループ化を用いて、大規模なセンサ集合へのフレームワークの拡張を図ること。

提案手法

• 内部ノードがセンササブセットと意思決定関数を表すDAGとしてシステムをモデル化し、例を新たなセンサの取得先または分類先にルーティングする。
• 動的計画法の原則を用いて、グローバルな経験的リスク最小化問題を一連のコスト感受性学習（CSL）サブ問題に分解する。
• ノードポリシーは、問題を扱いやすいCSLタスクに還元することで反復的に学習され、効率的な最適化が可能になる。
• 大規模なセンサ集合に対しては、サブモジュラ近似アルゴリズムを用いてセンササブセットを貪欲に選択し、DAG内の原子的「スーパー・センサ」として扱う。
• これらのサブセットの和集合を基にDAGを構築し、グラフサイズを顕著に削減しながら表現力を保持する。
• 意思決定関数には均一な多項式が用いられ、シンクノードではロジスティック回帰が分類に適用される。

実験結果

リサーチクエスチョン

• RQ1 DAGベースの適応的センサ取得システムは、非適応的およびカスケードベースの手法に比べ、テスト時のコストと精度の両面で優れているか？
• RQ2 DAGの意思決定ノードにおける高次元かつ非凸な最適化問題を効率的に解く方法は何か？
• RQ3 動的計画法にインspiredされたコスト感受性学習への還元は、固定されたDAGアーキテクチャに対して最適ポリシーに収束するか？
• RQ4 全サブセット選択が非現実的となる大規模なセンサ集合において、このフレームワークを拡張可能か？
• RQ5 高次元データにおけるDAGシステムの性能は、CSTCおよびASTCと比べてどうか？

主な発見

• DAGシステムは、letter、pima、landsatデータセットにおいて、LPベースの木手法を上回り、同等または低いセンサ取得コストで低いテスト誤差を達成した。
• 小規模なセンサ集合では、柔軟なセンサ順序付けと高容量の分類器のおかげで、先行するカスケードベース手法よりも顕著に優れた性能を発揮した。
• 大規模なセンサ集合（MiniBooNE、Forest、CIFAR）では、MiniBooNEおよびForestにおいてCSTCおよびASTCを上回り、より高い予算でも優れた性能を示した。
• CIFARでは、低予算ではASTCと同等の性能を発揮し、高予算ではそれを上回った。これにより、コストの異なる環境でも安定した性能を示した。
• 訓練データサイズが増加するにつれて、この手法はベイズリスクに収束し、固定アーキテクチャに対して最適性の理論的保証が得られた。
• サブモジュラ近似を用いたセンサのグループ化により、全サブセットを想定した場合の64ノードから8ノードにグラフサイズを削減でき、高次元データへのスケーラビリティが実現された。