[論文レビュー] Costly Features Classification using Monte Carlo Tree Search

Ziheng Chen, Jin Huang+2 more|arXiv (Cornell University)|Feb 14, 2021

Auction Theory and Applications参考文献 27被引用数 4

ひとこと要約

本論文は、時間・エネルギー・人的努力などの非軽微なコストを伴う特徴量の取得を伴う高コスト特徴量分類問題に対して、Advantage Actor-Critic (A2C) とモンテカルロツリーサーチ (MCTS) を組み合わせた2段階の強化学習手法を提案する。この手法は、分類精度とコストのバランスを取るために、適応的特徴選択方策を学習し、バランス型およびアンバランス型のデータセットにおいて最先端の性能を達成する。MCTSはA2Cの劣化した方策を著しく改善しつつ、効率性を維持する。

ABSTRACT

We consider the problem of costly feature classification, where we sequentially select the subset of features to make a balance between the classification error and the feature cost. In this paper, we first cast the task into a MDP problem and use Advantage Actor Critic algorithm to solve it. In order to further improve the agent's performance and make the policy explainable, we employ the Monte Carlo Tree Search to update the policy iteratively. During the procedure, we also consider its performance on the unbalanced dataset and its sensitivity to the missing value. We evaluate our model on multiple datasets and find it outperforms other methods.

研究の動機と目的

• 特徴量の取得に時間・エネルギー・人的努力などの非軽微なコストがかかる現実の状況における高コスト特徴量分類問題に対処すること。
• 分類誤差と特徴量取得コストの最適なトレードオフを実現する逐次的特徴選択戦略の開発。
• A2CとMCTSを統合することで、方策の安定性と解釈可能性を向上させること。
• 少数クラスの影響を調整する報酬関数の設計により、データセットのクラス不均衡に対処すること。
• DQN、Adapt-Gbrt、BudgetPruneなどの既存手法と比較して、実世界の分類タスクにおける精度-コストトレードオフの面で優れるようにすること。

提案手法

• 高コスト特徴量分類問題をマークフ・意思決定過程（MDP）として定式化し、特徴量取得における逐次的意思決定を可能にする。
• 特徴選択における探索と活用のバランスを取るために、Advantage Actor-Critic (A2C) アルゴリズムを用いて方策ネットワークを事前学習する。
• 不均衡度比ρに合わせて調整可能な要因δを用いて、多数クラスのサンプルに対する報酬をスケーリングすることで、クラス不均衡を報酬関数に組み込む。
• A2C方策の反復的改善のために、ニューラルネットワークの価値推定値を根拠として用いるモンテカルロツリーサーチ（MCTS）を適用する。
• A2Cの価値ネットワークをツリーのノード選択のヒューリスティックとして用いることで、効率的なプルーニングとMCTS探索の高速収束を実現する。
• A2Cの事前学習とMCTSの統合により、安定的で高性能かつ解釈可能な特徴選択方策を達成する。

Figure 1: The partially shared neural network

実験結果

リサーチクエスチョン

• RQ1 深層強化学習アプローチは、現実の状況において分類精度と特徴量取得コストのバランスを効果的に取ることができるか？
• RQ2 A2CにMCTSを統合することで、A2C単体で学習した方策はどの程度向上するか？
• RQ3 高コスト特徴量取得の文脈において、どのような報酬関数設計が不均衡データセットで頑健な性能を発揮するか？
• RQ4 本手法は、DQN、Adapt-Gbrt、BudgetPruneといった既存手法と比較して、精度とコスト効率の面でどの程度優れているか？
• RQ5 A2C+MCTSフレームワークは、Q学習ベースのベースラインと比較して、不完全または不均衡なデータにおいてどの程度の性能を維持できるか？

主な発見

• バランス型データセットでは、A2C+MCTSはDQNおよびAdapt-Gbrtと同等のコスト予算で高い精度を達成し、20%のコストでCirではG-mean 0.85 (9.3)、RngではG-mean 0.88 (9.3)を記録した。
• 不均衡型データセットでは、A2C+MCTSはDQNおよびAdapt-Gbrtを上回り、5%のコストでCirではG-mean 0.65 (6.1)を達成した。DQNおよびAdapt-Gbrtは収束せず、著しく性能が低下した。
• アブレーションスタディの結果、MCTSはA2C方策を著しく改善し、CirではG-meanを0.57 (8.5)から0.65 (6.1)へ、Pidでは0.63 (4.2)から0.79 (3.4)へ向上させた。
• A2C価値ネットワークをヒューリスティックとして用いることで、MCTSの探索時間は桁違いに短縮され、ニューラルネットワークがプルーニングのヒューリスティックとして有効であることが示された。
• 報酬スケーリング要因δを不均衡度比ρよりもわずかに小さく設定した場合に最適な性能が得られ、少数クラスの影響をわずかに高めることでG-meanが向上した。
• 本手法は、非常に少数の特徴量の組み合わせで高い精度を達成し、DNNやRFと同等の性能を発揮しながらも、特徴量の使用数を著しく減らしており、コスト効率の高さが裏付けられた。

Figure 2: The system diagram of RL and MCTS