[論文レビュー] Visceral Machines: Risk-Aversion in Reinforcement Learning with Intrinsic Physiological Rewards

Daniel McDuff, Ashish Kapoor|arXiv (Cornell University)|May 25, 2018

Mental Health Research Topics被引用数 16

ひとこと要約

本論文は、人間の自動神経系反応に由来する内的生理的報酬——特に末梢血流の調節——を統合する強化学習フレームワークを提案する。この報酬は、サンプル効率性と安全性を向上させる。1人称映像からストレス関連の生理的信号を予測するための畳み込みニューラルネットワーク（CNN）を訓練することで、衝突の前触れとなる密度の高い早期警告報酬を提供し、模擬走行環境における学習を加速させるとともに、衝突を低減する。

ABSTRACT

As people learn to navigate the world, autonomic nervous system (e.g., "fight or flight") responses provide intrinsic feedback about the potential consequence of action choices (e.g., becoming nervous when close to a cliff edge or driving fast around a bend.) Physiological changes are correlated with these biological preparations to protect one-self from danger. We present a novel approach to reinforcement learning that leverages a task-independent intrinsic reward function trained on peripheral pulse measurements that are correlated with human autonomic nervous system responses. Our hypothesis is that such reward functions can circumvent the challenges associated with sparse and skewed rewards in reinforcement learning settings and can help improve sample efficiency. We test this in a simulated driving environment and show that it can increase the speed of learning and reduce the number of collisions during the learning stage.

研究の動機と目的

• 現実世界の強化学習における報酬の疎らさと偏りの問題に対処するため、内的生理的フィードバックを活用すること。
• 自律神経系の即時の反応を報酬信号として組み込むことで、学習中の危険な失敗（Catastrophic failures）を低減し、サンプル効率性を向上させること。
• 「戦うか逃げるか」反応に関連する生理的信号が、強化学習における有効な内的報酬として機能するかを検証すること。
• 距離に基づくヒューリスティックな報酬設計と比較して、CNNベースの生理的報酬モデルの性能を評価すること。
• 動的に減少する内的報酬の寄与度が、学習速度と安全性に与える影響を評価すること。

提案手法

• ドライバーの1人称映像フレームから、交感神経系の活性化の代理指標である末梢血液体積パルス（peripheral blood volume pulse）を予測する畳み込みニューラルネットワーク（CNN）を訓練する。
• CNNの出力を、衝突の直前のような高アーザル状態を罰する内的報酬信号として使用する。
• 外的タスク報酬（例：速度、目的到達）と組み合わせて、重み付き和で合計報酬を定義する：$ R_{total} = R_{ext} + \lambda R_{int} $。
• カリキュラム学習を適用し、時間とともに内的報酬重み $ \lambda $ を減少させる：$ \lambda = 1 - \frac{1}{N_{\text{Episode}}} $、初期段階では内的フィードバックに完全に依存する。
• 閉じた空間と衝突リスクを伴う模擬走行環境で、アクター・クリティック型強化学習エージェントを訓練する。
• CNNベースの内的報酬と、距離に基づくヒューリスティックな内的報酬（例：$ 1 - \exp[-|\text{wall to distance}|] $）を比較する。

実験結果

リサーチクエスチョン

• RQ1 自律神経系反応に関連する生理的信号は、強化学習における有効で密度の高い内的報酬として機能するか？
• RQ2 学習された生理的アーザルモデルを用いることで、疎な外的報酬に比べ、サンプル効率性が向上し、衝突が減少するか？
• RQ3 内的報酬寄与度を時間的に減少させることで、初期学習段階における学習速度と安全性にどのような影響を与えるか？
• RQ4 幾何的距離に基づく手作業の報酬設計に比べ、深層学習による生理的応答モデルはより効果的か？
• RQ5 内臓反応に由来する内的報酬は、高リスク環境における安全な探索とより長いエピソード長を実現できるか？

主な発見

• CNNベースの内的報酬は、特に初期エピソードにおいて、高アーザル状態の早期検出により、衝突回数を顕著に低減した。
• 時間的に減少する内的報酬を使用した場合、エピソード長が著しく延び、固定または非減少的な内的重みよりも、衝突をはるかに早く回避するようエージェントが学習した。
• CNNベースの内的報酬を使用したエージェントは、平均外的報酬とエピソード長の両面で、ヒューリスティックな距離ベースの報酬設計を上回った。
• 時間的に減少する内的報酬戦略は、最良の固定 $ \lambda = 0.25 $ よりも優れた性能を示し、平均速度が高く、エピソードが長くなった。
• 生理的報酬信号は、実際の衝突の前触れとなる非疎なフィードバックを提供し、早期のポリシー更新とより安全な探索を可能にした。
• モデルは、学習された内的報酬が、単純な距離指標よりも、複雑な文脈的情報（例：高速走行、狭い通路）をよりよく捉えられることを示した。