[論文レビュー] A Reinforcement Learning Approach to Online Learning of Decision Trees

Abhinav Garlapati, Aditi Raghunathan+2 more|arXiv (Cornell University)|Jul 24, 2015

Data Stream Mining Techniques参考文献 10被引用数 5

ひとこと要約

本稿では、分類およびモデル学習に最も情報量が多い特徴量のみを能動的に選択することで、特徴量クエリ数を最小限に抑えつつ高い精度を維持する強化学習に基づくオンライン意思決定木アルゴリズム、RLDTを提案する。意思決定木学習をマルコフ決定過程（MDP）として定式化することにより、短期的な利益に依存するグリーディな手法ではなく、長期的なパフォーマンスを最適化する。その結果、バッチおよびオンラインのベースラインと比較して、はるかに少ない特徴量クエリ数で優れた性能を発揮し、コンセプトドリフトに対してもロバストである。

ABSTRACT

Online decision tree learning algorithms typically examine all features of a new data point to update model parameters. We propose a novel alternative, Reinforcement Learning- based Decision Trees (RLDT), that uses Reinforcement Learning (RL) to actively examine a minimal number of features of a data point to classify it with high accuracy. Furthermore, RLDT optimizes a long term return, providing a better alternative to the traditional myopic greedy approach to growing decision trees. We demonstrate that this approach performs as well as batch learning algorithms and other online decision tree learning algorithms, while making significantly fewer queries about the features of the data points. We also show that RLDT can effectively handle concept drift.

研究の動機と目的

• 1つのデータポイントあたりの特徴量クエリ数を最小限に抑えつつ、高い分類精度を維持するオンライン意思決定木学習アルゴリズムの開発。
• 従来の意思決定木アルゴリズムにおけるグリーディで短視眼的な特徴量選択の限界を克服し、即時の情報量の増加ではなく長期的なリターンを最適化することによる改善。
• オンライン強化学習の適応的性質を活用することで、コンセプトドリフトが生じる環境においても段階的な学習を可能にする。
• 任意の強化学習アルゴリズムが最適な意思決定木ポリシーを学習できる統合フレームワークを提供し、非一様な特徴量コストなどの多様な制約をサポートする。

提案手法

• オンライン意思決定木学習をマルコフ決定過程（MDP）として定式化し、状態はデータポイントの特徴量に関する部分的知識を表し、行動は特徴量クエリまたはクラス予測を意味する。報酬は、精度とクエリ効率のバランスを取るために設計されている。
• 誤った予測や過剰なクエリに対してペナルティを与える報酬関数を採用し、エージェントが正確でコンactな木を最小限の特徴量アクセスで学習するよう促進する。
• 標準的な強化学習アルゴリズム（例：Q学習、ポリシー勾配）を用いて、状態から行動への最適ポリシーを学習し、柔軟でスケーラブルな学習を実現する。
• 各ノードでの特徴量の既知／未知状態を追跡する状態表現を導入し、再訓練を必要とせずに動的かつ段階的な学習を可能にする。
• 関数近似と動的プルーニングを適用することで、高次元または連続的特徴量設定における大きな状態空間と行動空間を管理する。
• ガウス・ミックスチャネル・モデルなどのモデルを用いたオンライン推定により、離散化または分割点の推定を実施し、連続的値分布への適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いることで、高い分類精度を維持しつつ、オンライン意思決定木学習における特徴量クエリ数を効果的に最小化できるか？
• RQ2 従来のグリーディなバッチおよびオンライン意思決定木アルゴリズムと比較して、RLベースのアプローチは、精度およびクエリ効率の面でどのように異なるか？
• RQ3 非定常なデータ環境において、RLDTは時間経過に伴うポリシーの適応によってコンセプトドリフトを効果的に処理できるか？
• RQ4 従来の意思決定木における短視眼的で情報量に基づく分割と比較して、RLDTにおける長期的リターン最適化はどのように異なるか？
• RQ5 RLDTフレームワークは、効率的な関数近似を用いて、高次元および連続的特徴量空間を効果的に処理できるか？

主な発見

• マッシュルームデータセットでは、RLDTは1データポイントあたり2つの特徴量クエリで92.53%の精度を達成し、深さ2に制限されたC4.5（85.33%）を上回ったが、クエリ数ははるかに少なかった。
• 電力消費データセットでは、RLDTは最終精度83.26%、平均精度81.15%を達成し、VFDT（最終精度75.8%）および他のオンラインベースラインを上回った。
• 電力消費データセットにおけるコンセプトドリフトに対して、適切な学習率を用いたRLDTは高い性能を維持したが、多くの標準的なオンラインアルゴリズムとは異なり、性能の低下を示さなかった。
• 特徴量クエリ数を顕著に削減したことで、データが不足するか、特徴量の取得が高コストな環境でも高い効率性を示した。
• RL報酬設計のおかげで、明示的なプルーニングの必要がなく、一般化と精度のバランスが自然に保たれた。
• 実験の結果、クエリ制限が厳しい条件下でも、RLDTの性能はバッチ学習アルゴリズムと同等であり、低情報環境下での有効性が裏付けられた。