[論文レビュー] Feature selection as Monte-Carlo Search in Growing Single Rooted Directed Acyclic Graph by Best Leaf Identification

Aurélien Pélissier, Atsuyoshi Nakamura+1 more|arXiv (Cornell University)|Nov 19, 2018

Artificial Intelligence in Games被引用数 4

ひとこと要約

本稿では、特徴空間を成長する単一ルート指向無閉路グラフ（SR-DAG）としてモデル化することで、特徴選択のための新しいモンテカルロ木探索（MCTS）フレームワークを提案する。最良腕同定（BAI）および最良リーフ同定（BLI）は、信頼区間ベースの探索によって解決される。本手法は理論的サンプル複雑性の保証とともに（ε, δ）-正しさを達成し、ベンチマークデータセットにおいて競争的な性能を示す。特に、バックプロパゲーションおよび拡張ポリシーの改善により、FUSEよりも特定の設定で優れた性能を発揮する。

ABSTRACT

Monte Carlo tree search (MCTS) has received considerable interest due to its spectacular success in the difficult problem of computer Go and also proved beneficial in a range of other domains. A major issue that has received little attention in the MCTS literature is the fact that, in most games, different actions can lead to the same state, that may lead to a high degree of redundancy in tree representation and unnecessary additional computational cost. We extend MCTS to single rooted directed acyclic graph (SR-DAG), and consider the Best Arm Identification (BAI) and the Best Leaf Identification (BLI) problem of an expanding SR-DAG of arbitrary depth. We propose algorithms that are (epsilon, delta)-correct in the fixed confidence setting, and prove an asymptotic upper bounds of sample complexity for our BAI algorithm. As a major application for our BLI algorithm, a novel approach for Feature Selection is proposed by representing the feature set space as a SR-DAG and repeatedly evaluating feature subsets until a candidate for the best leaf is returned, a proof of concept is shown on benchmark data sets.

研究の動機と目的

• 遷移の重複によるMCTSの冗長性を軽減するため、ゲーム／状態空間を木ではなく単一ルート指向無閉路グラフ（SR-DAG）として表現すること。
• 特徴選択を拡張するSR-DAGにおける最良リーフ同定（BLI）問題として形式化すること。
• 成長するSR-DAGにおけるBAIおよびBLIのための理論的裏付けのあるMCTSアルゴリズムを構築し、（ε, δ）-正しさを達成すること。
• DAG構造による同等状態間の知識共有を通じて、MCTSにおけるサンプル効率を向上させ、計算の冗長性を低減すること。
• 合成および実世界のデータセットを用いたBLI-MCDSアルゴリズムのプロトタイプ実装を提供すること。

提案手法

• 特徴集合空間を、ノードが特徴部分集合を表し、エッジが特徴の追加を表す成長する単一ルート指向無閉路グラフ（SR-DAG）としてモデル化する。
• 上位信頼区間（UCB）の原則を応用するが、親に基づく信頼区間ではなく、子孫に基づく信頼区間を用いた信頼区間ベースの選択ポリシーを適用する。
• 成長するSR-DAGにおける最良腕同定（BAI）のためのLUCB-exMCDSアルゴリズムを導入し、理論的サンプル複雑性の上限を保証する（ε, δ）-正しさを達成する。
• 葉の評価回数に基づいてDAGを拡張する拡張ポリシー（BAIAdd）を採用し、有望な部分木を優先する。
• 「すべての親に更新する」バックプロパゲーションポリシーを採用し、すべての祖先に信頼区間を伝搬することで、経路間の知識共有を強化する。
• ノード選択およびDAG内での拡張をガイドするため、RAVEスコアと探索関数（β₁理論的、β₂経験的）を用いる。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロ木探索は、ゲームや最適化問題における遷移の重複を軽減するために、単一ルート指向無閉路グラフ（SR-DAG）に効果的に拡張可能だろうか？
• RQ2 成長するSR-DAGにおける特徴選択を最良リーフ同定（BLI）問題としてモデル化することで、木ベースのMCTSと比較して、より高いサンプル効率と精度が達成可能だろうか？
• RQ3 提案されたLUCB-exMCDSアルゴリズムは、成長するSR-DAGにおけるBAIで（ε, δ）-正しさを達成できるだろうか？また、理論的サンプル複雑性の上限が保証されるだろうか？
• RQ4 「すべての親に更新する」バックプロパゲーションポリシーは、「下降に更新する」ものと比較して、BLIタスクにおける収束性と性能に優れているだろうか？
• RQ5 DAGに基づくMCTSフレームワークは、ベンチマークデータセットにおけるUCTベースのFUSEと比較して、どの程度優れた性能を示すだろうか？

主な発見

• LUCB-exMCDSアルゴリズムは、成長するSR-DAGにおける最良腕同定（BAI）に対して（ε, δ）-正しさを達成し、サンプル複雑性の漸近的上界を有する。
• BLI-MCDSアルゴリズムは、特徴DAGにおける最良リーフを正しく同定でき、FUSEの「下降に更新する」ポリシーと比較して、「すべての親に更新する」ポリシーによるバックプロパゲーションの改善が顕著に効果を発揮した。
• 30個の特徴を有する線形人工データセットでは、BLI-MCDSは最適なリーフを特定する点でFUSEを上回ったが、FUSEは同様のタスクで収束に失敗した。
• 500個の特徴を有するMadelonデータセットでは、FUSEがややBLI-MCDSを上回った。これは、より高い葉の探索頻度によるものであり、拡張ポリシーおよび分岐次数への感受性を示唆している。
• RAVEスコアとβ₂探索関数の使用により、各拡張後のDAG全体の更新に依存する必要性が低減され、実用的性能が向上した。
• DAG表現をMCTSに適用することで、特に遷移頻度の高い問題（例：特徴選択）において、冗長性の低減と知識共有の向上が図れることが示された。