[論文レビュー] Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback

Duo Xu, Mohit Agarwal+3 more|arXiv (Cornell University)|Jun 30, 2020

EEG and Brain-Computer Interfaces参考文献 62被引用数 6

ひとこと要約

本論文は、EEGを用いた誤り関連電位（ErrPs）を介して暗黙の人的フィードバックを統合することにより、エージェントの学習を加速する画期的な深層強化学習フレームワークを提案する。この手法により、未確認の環境間でErrPデコーディングのゼロショット転送が可能となり、ラベル効率が75.56%向上し、ノイズの多い人的フィードバックに耐性を持つ確率的報酬形状化メカニズムにより学習が2.25倍速くなる。

ABSTRACT

Providing Reinforcement Learning (RL) agents with human feedback can dramatically improve various aspects of learning. However, previous methods require human observer to give inputs explicitly (e.g., press buttons, voice interface), burdening the human in the loop of RL agent's learning process. Further, it is sometimes difficult or impossible to obtain the explicit human advise (feedback), e.g., autonomous driving, disabled rehabilitation, etc. In this work, we investigate capturing human's intrinsic reactions as implicit (and natural) feedback through EEG in the form of error-related potentials (ErrP), providing a natural and direct way for humans to improve the RL agent learning. As such, the human intelligence can be integrated via implicit feedback with RL algorithms to accelerate the learning of RL agent. We develop three reasonably complex 2D discrete navigational games to experimentally evaluate the overall performance of the proposed work. Major contributions of our work are as follows, (i) we propose and experimentally validate the zero-shot learning of ErrPs, where the ErrPs can be learned for one game, and transferred to other unseen games, (ii) we propose a novel RL framework for integrating implicit human feedbacks via ErrPs with RL agent, improving the label efficiency and robustness to human mistakes, and (iii) compared to prior works, we scale the application of ErrPs to reasonably complex environments, and demonstrate the significance of our approach for accelerated learning through real user experiments.

研究の動機と目的

• EEGを用いて内在的な脳波信号（ErrPs）を捉えることで、強化学習における暗黙的で侵襲的でない人的フィードバックを可能にすること。
• ボタン押しや音声コマンドなどの明示的フィードバック機構を排除することで、人的認知負荷を軽減すること。
• 各新しい環境に対して再トレーニングを必要とせず、EEG由来のフィードバックを統合できるスケーラブルでサンプル効率の高いRLフレームワークを開発すること。
• 正確性、遅延、ユーザー快適性の観点から、明示的ラベリングと比較してErrPベースのフィードバックの実現可能性と優位性を検証すること。
• 確率的報酬形状化メカニズムにより、ノイズの多い人的フィードバックに対して頑健であることを示すこと。

提案手法

• フレームワークは、EEG信号をリアルタイムで解析し、誤り関連電位（ErrPs）の検出を実行する。二段階のプロセス（信号前処理とErrP有無の二値分類）を用いる。
• 深層Qネットワーク（DQN）は、デコードされたErrPsから得られる補助報酬関数を拡張し、エージェントの学習信号を形状化する。
• 補助報酬は、隣接する状態間のベルマン差分として計算され、学習されたベースライン関数 t(·) を介して状態ダイナミクスを統合する。
• 人的フィードバックはソフトQポリシーとしてモデル化され、状態に依存する結合係数 β(e) = 3e^(-e/80) が環境報酬と人的報酬のバランスを動的に制御する。
• 5つのヘッドを持つブートストラップニューラルネットワークは、状態空間全体にわたり二値ErrPラベルを一般化し、一般化性と頑健性を向上させる。
• ErrPデコーダーを1つの環境でトレーニングし、再トレーニングなしに未確認のゲームに直接適用することで、ゼロショット転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 EEGに基づく暗黙のフィードバック（ErrPsを介して）は、複雑な2Dナビゲーション環境における強化学習の加速に効果的に利用可能か？
• RQ2 再トレーニングなしに、異なる環境間でErrPデコーディングを転送でき、ゼロショットデプロイメントが可能か？
• RQ3 ノイズの多いまたは誤った人的フィードバック下でも、提案された頑健な報酬形状化メカニズムはどのように性能を発揮するか？
• RQ4 ラベル精度、フィードバック遅延、ユーザー快適性の観点から、暗黙のEEGフィードバックは明示的ラベリングを上回るか？
• RQ5 ErrPフィードバック統合によって、学習速度を維持または向上させながら、必要な人的クエリ数をどの程度削減できるか？

主な発見

• 提案フレームワークは、人的フィードバックなしのベースライン手法と比較して、DRLの学習を2.25倍速くした。
• 効率的で暗黙のフィードバック統合により、必要な人的クエリ数が75.56%削減された。
• ゼロショット転送の実験的妥当性が確認された：1つのゲームでトレーニングしたデコーダーが、再トレーニングなしに未確認のゲームのフィードバックを正しくデコードできた。
• ノイズの多い人的フィードバック下でも、ブートストラップニューラルネットワークを用いた単純なベースラインと比較して、頑健な報酬形状化メカニズムが優れた性能を示した（被験者02および07の両方で）。
• ベースライン関数 t(·) は収束速度と安定性を著しく向上させ、一部の状況では単純な手法を上回った。
• 状態に依存する結合係数 β(e) は学習の安定化と収束の向上に寄与し、環境報酬と人的報酬のバランスを取る上でその重要性を示した。