[論文レビュー] Better safe than sorry: Risky function exploitation through safe optimization

Eric Schulz, Quentin J. M. Huys+3 more|arXiv (Cornell University)|Feb 2, 2016

Gaussian Processes and Bayesian Inference参考文献 12被引用数 7

ひとこと要約

本研究では、安全基準を下回る結果を避ける必要があるリスク関数最適化タスクにおける人間の行動を調査した。ガウス過程に基づく安全最適化アルゴリズムを用いて、著者らは参加者が安全を最優先にし、安全領域内で最適化を開始する前に入力を安全かどうか評価していることを示した。これは、恒常性駆動のリスク回避的かつ局所的探索・活用行動を示している。

ABSTRACT

Exploration-exploitation of functions, that is learning and optimizing a mapping between inputs and expected outputs, is ubiquitous to many real world situations. These situations sometimes require us to avoid certain outcomes at all cost, for example because they are poisonous, harmful, or otherwise dangerous. We test participants' behavior in scenarios in which they have to find the optimum of a function while at the same time avoid outputs below a certain threshold. In two experiments, we find that Safe-Optimization, a Gaussian Process-based exploration-exploitation algorithm, describes participants' behavior well and that participants seem to care firstly whether a point is safe and then try to pick the optimal point from all such safe points. This means that their trade-off between exploration and exploitation can be seen as an intelligent, approximate, and homeostasis-driven strategy.

研究の動機と目的

• 人間が厳密な安全制約のもとで関数最適化を行う際、探索と活用のバランスをどのようにとるかを検討すること。
• このようなタスクにおける人間の行動が、有害な結果を避けることを最優先とする安全最適化アルゴリズムと一致するかどうかを調査すること。
• 参加者が「まず安全を確保し、その後安全領域内で最適化する」という階層的戦略を採用しているかどうかを特定すること。
• 恒常性が関数学習中のリスク回避的意思決定をどのように導くかを評価すること。
• タスクの複雑さ（単変量対二変量）が、探索パターンと安全優先行動に与える影響を評価すること。

提案手法

• 参加者は、入力を選択して出力を観測する関数学習タスクを実施し、報酬は出力値に基づいた。
• 安全基準が設けられた：50未満の結果は「悪い」ものとされ、絶対に回避された。
• 安全最適化アルゴリズムは、未知の関数をモデル化し、不確実性を推定するためにガウス過程回帰を用いた。
• アルゴリズムは、安全である確率が高く（P(safe) > 0.8）、その後に安全領域内での期待出力を最大化する入力を優先して選択した。
• モデルは段階的ヒューリスティックを用いた：まず安全の評価を行い、次に安全領域内での最適化を実施した。
• 行動は、安全領域、最大化器、拡張器、および条件の固定効果と、ランダム切片を含む混合効果回帰でモデル化された。

実験結果

リサーチクエスチョン

• RQ1 結果が閾値未満であることを厳密に回避しなければならない状況下で、人間は未知の関数をどのように探索・活用するか？
• RQ2 人間の行動はどの程度、ガウス過程ベースの安全最適化アルゴリズムと一致するか？
• RQ3 参加者は安全領域内で最適化する前に安全の評価を優先するのか、それとも安全と報酬最大化を同時にバランスさせるのか？
• RQ4 タスクの複雑さ（単変量対二変量）は、参加者のリスク回避性と探索パターンにどのように影響するか？
• RQ5 恒常性は、安全制約下での参加者の意思決定をどのように形作るか？

主な発見

• 参加者の行動は、安全領域を拡大し、その中で最適化を行うガウス過程ベースの安全最適化アルゴリズムによってよく説明された。
• 参加者は強いリスク回避的行動を示し、初期の安全入力から離れていないことが多く、特に複雑な二変量タスクでは安全領域の拡大がほとんど見られなかった。
• 入力が安全である確率（P(safe) > 0.8）が選択の主な要因であったため、報酬最大化よりも安全の確保に強い注目が向けられていた。
• 安全条件では、安全領域の影響が選択に顕著に正の効果を示した（b = 2.11, SE = 0.07），一方で最大化器の効果も有意であった（b = 0.23, SE = 0.09）。
• 安全領域を拡大するための努力（エクスパンダー変数）の効果は有意でなかった（b = 0.03, SE = 0.08），安全領域の拡大に対する関心が極めて低いことを示した。
• 意思決定木分析の結果、閾値を超える確率のみが選択に顕著に影響していたことから、安全最優先のヒューリスティックが確認された。