[論文レビュー] A Parameter-Free Learning Automaton Scheme

Hao Ge|arXiv (Cornell University)|Nov 28, 2017

Machine Learning and Algorithms参考文献 20被引用数 9

ひとこと要約

本稿では、ベイジアン推論を用いて学習行動を動的に調整することにより、手動によるパrameter調整の必要を排除するパラメータフリーの学習オートマトン（PFLA）を提案する。この手法は、事前設定なしに多様な確率的環境において高い精度と安定した性能を達成し、ベンチマークテストにおいてチューニング済みおよびチューニング未実施のベースラインと比較して、競争力のある収束速度と頑健性を示している。

ABSTRACT

For a learning automaton, a proper configuration of its learning parameters, which are crucial for the automaton's performance, is relatively difficult due to the necessity of a manual parameter tuning before real applications. To ensure a stable and reliable performance in stochastic environments, parameter tuning can be a time-consuming and interaction-costing procedure in the field of LA. Especially, it is a fatal limitation for LA-based applications where the interactions with environments are expensive. In this paper, we propose a parameter-free learning automaton scheme to avoid parameter tuning by a Bayesian inference method. In contrast to existing schemes where the parameters should be carefully tuned according to the environment, the performance of this scheme is not sensitive to external environments because a set of parameters can be consistently applied to various environments, which dramatically reduce the difficulty of applying a learning automaton to an unknown stochastic environment. A rigorous proof of $ε$-optimality for the proposed scheme is provided and numeric experiments are carried out on benchmark environments to verify its effectiveness. The results show that, without any parameter tuning cost, the proposed parameter-free learning automaton (PFLA) can achieve a competitive performance compared with other well-tuned schemes and outperform untuned schemes on consistency of performance.

研究の動機と目的

• 確率的環境における学習オートマトン（LA）の時間とコストを要するパrameterチューニングという重要な課題に対処すること。
• 再チューニングなしに多様な環境で高い性能を維持できる汎用的な学習手法を開発すること。
• 環境固有のパrameter設定に依存しないようにしつつ、ε-最適性と安定した収束を保証すること。
• 手動チューニングに依存する既存のLA手法に対する理論的裏付けのあるパラメータフリーの代替手法を提供すること。

提案手法

• PFLAは、事前定義された学習率や解像度パrameterを必要とせず、ベイジアン推論を用いて行動価値を推定し、確率を更新する。
• 探索を強化し、未知の環境での収束を加速するために、楽観的な初期値を用いる。
• 観測された報酬に基づいて学習方針を動的に調整し、事後分布を活用して行動選択をガイドする。
• 厳密な理論的証明によりε-最適性が確立され、最適行動への収束確率を任意に高い確率に保証する。
• 同一のパラメータセットが2行動および多行動環境の両方で適用可能であるという普遍性を設計している。
• 4つの2行動および5つの10行動のベンチマーク環境において、モンテカルロシミュレーションを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 多様な確率的環境において、手動によるパrameterチューニングなしに高い精度と安定した収束を達成できる学習オートマトンは存在するか？
• RQ2 パラメータフリーな手法の性能は、適切にチューニングされたおよびチューニング未実施の学習オートマトンと比較して、収束速度および精度の面でどのように異なるか？
• RQ3 提案されたベイジアン推論に基づく学習オートマトンは、定常的な確率的環境において証明可能にε-最適であるか？
• RQ4 1つのパラメータ設定が、2行動および多行動環境の両方で普遍的に有効であるか？

主な発見

• PFLAは、パラメータチューニングなしに、すべてのテストされたベンチマーク環境で高い精度と一貫性のある性能を達成した。
• シミュレーションにおいて、PFLAは収束速度がチューニング済みの対比手法より遅いものの、性能の一貫性において未チューニング手法を上回った。
• PFLAはε-最適性を示し、最適行動への収束確率が1に限りなく近づくことを証明した。
• チューニング済みの手法と比較して、PFLAの精度は劣っておらず、環境固有のチューニングが欠如しているにもかかわらず同程度の性能を示した。
• 本手法は2行動および10行動の両環境で頑健であり、その普遍性とスケーラビリティを確認した。
• パrameterチューニングの不在により、相互作用コストが著しく削減され、環境相互作用が高価なアプリケーションに最適であることがわかった。