[論文レビュー] Simple trees in complex forests: Growing Take The Best by Approximate Bayesian Computation

Eric Schulz, Maarten Speekenbrink+1 more|arXiv (Cornell University)|May 5, 2016

Markov Chains and Monte Carlo Methods参考文献 18被引用数 4

ひとこと要約

この論文は、近似ベイズ推論を用いて、ヒューリスティックな意思決定木の構築に必要な要因（例：情報の順序や方向）を確率的に更新しながら、Take The Best (TTB) ヒューリスティックを学習する新しいアルゴリズム ABC-TTB を提案する。この手法は、合成データから TTB を正確に再構築でき、要因の重要度に関する正確な推論を可能にし、標準的な TTB よりも優れた性能を示す。また、計算コストと予測精度の明示的で制御可能なトレードオフを実現する。

ABSTRACT

How can heuristic strategies emerge from smaller building blocks? We propose Approximate Bayesian Computation as a computational solution to this problem. As a first proof of concept, we demonstrate how a heuristic decision strategy such as Take The Best (TTB) can be learned from smaller, probabilistically updated building blocks. Based on a self-reinforcing sampling scheme, different building blocks are combined and, over time, tree-like non-compensatory heuristics emerge. This new algorithm, coined Approximately Bayesian Computed Take The Best (ABC-TTB), is able to recover a data set that was generated by TTB, leads to sensible inferences about cue importance and cue directions, can outperform traditional TTB, and allows to trade-off performance and computational effort explicitly.

研究の動機と目的

• ヒューリスティック戦略（例：Take The Best (TTB)）が、より小さな確率的更新可能な構成要素からどのように出現するかを解明すること。
• 事前に定義されたものではなく、経験から動的に学習可能な TTB の計算的メカニズムを構築すること。
• TTB を構成する探索ルール、停止ルール、意思決定ルールの適応的学習をモデル化すること。
• ヒューリスティック学習における計算コストと予測性能の明示的トレードオフを可能にすること。
• 心理的に妥当でベイズ的インスピレーションを受けるヒューリスティック戦略形成の学習メカニズムを提供すること。

提案手法

• ABC-TTB は、近似ベイズ推論（ABC）を用いて、情報に基づく予測をシミュレートし、観測データと照合することで、候補となる意思決定木を評価する。
• 提案されたモデル（木）は、情報の順序および情報の方向に関する事前分布からサンプリングすることで生成され、候補となる TTB の変種が形成される。
• シミュレートされたデータの要約統計量（例：正解予測の平均値）が、実際のデータの要約統計量と許容誤差 ε の範囲内にある場合、その提案が受け入れられる。
• 受理基準には、シミュレートされたデータと観測データの要約統計量の間の距離測度 δ（例：ユークリッド距離）が用いられ、ε および φ（サンプルの割合）が調整可能なパラメータとして設定される。
• 成功した木が将来の反復で再利用され、改良されやすくなる自己強化型のサンプリングスキームが採用されている。
• 性能と計算コストが ε（許容誤差）と φ（サンプルの割合）の調整によって明示的にバランスされ、精度と速度の両立が可能になる。

実験結果

リサーチクエスチョン

• RQ1 近似ベイズ推論を用いて、基本的な確率的構成要素から、Take The Best ヒューリスティックを計算的モデルが学習できるか？
• RQ2 データが TTB によって生成された場合、提案された ABC-TTB 法は元の TTB 戦略を再構築できるか？
• RQ3 ABC-TTB は、実世界のデータセットにおいて、要因の重要度や要因の方向について正確で解釈可能な推論を提供できるか？
• RQ4 ABC-TTB の性能は、従来の TTB や他のモデルと比較して、予測精度において優れているか？
• RQ5 ABC-TTB は、計算コストと予測性能の間で、どの程度明示的なトレードオフを実現できるか？

主な発見

• データが TTB によって生成された場合、ABC-TTB は要因の順序と方向を正確に再構築でき、TTB ヒューリスティックを効果的に再構築した。
• 実世界のデータセットでさえも、要因の重要度や方向に関する妥当な推論を提供しており、潜在的な構造の強固な学習を示している。
• ABC-TTB は、従来の TTB や他のモデルを上回る予測精度を示し、パrameter のチューニングにより最大20%の性能向上が達成された。
• 計算コストと性能の明確なトレードオフが存在する：ε および φ を増加させると、必要な候補サンプル数は超指数関数的に増加するが、性能の向上は時間とともに鈍化する。
• 生成された候補1つあたりの正解予測の割合は、収束の傾向を示しており、より高い精度を求めるには指数関数的な計算量が必要であることが確認された。
• ε および φ の調整により、性能とコストのトレードオフを明示的に制御でき、精度と効率のバランスを取る実用的なツールを提供する。