[論文レビュー] Human-AI Shared Control via Policy Dissection

Quanyi Li, Zhenghao Peng+3 more|arXiv (Cornell University)|May 31, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、再訓練を必要とせず、学習済みニューラルポリシー表現を運動学的属性と一致させることで、人間とAIの共有制御を可能にする周波数ベースの手法、Policy Dissectionを提案する。この手法により、事前学習済みポリシー内にモーター・プリミティブを同定し、歩行や走行タスクにおけるジャンプやバックフリップなどの行動をリアルタイムで人間が操縦可能となる。これにより、未知の環境における一般化性能と安全性が顕著に向上する。

ABSTRACT

Human-AI shared control allows human to interact and collaborate with AI to accomplish control tasks in complex environments. Previous Reinforcement Learning (RL) methods attempt the goal-conditioned design to achieve human-controllable policies at the cost of redesigning the reward function and training paradigm. Inspired by the neuroscience approach to investigate the motor cortex in primates, we develop a simple yet effective frequency-based approach called extit{Policy Dissection} to align the intermediate representation of the learned neural controller with the kinematic attributes of the agent behavior. Without modifying the neural controller or retraining the model, the proposed approach can convert a given RL-trained policy into a human-interactive policy. We evaluate the proposed approach on the RL tasks of autonomous driving and locomotion. The experiments show that human-AI shared control achieved by Policy Dissection in driving task can substantially improve the performance and safety in unseen traffic scenes. With human in the loop, the locomotion robots also exhibit versatile controllable motion skills even though they are only trained to move forward. Our results suggest the promising direction of implementing human-AI shared autonomy through interpreting the learned representation of the autonomous agents. Demo video and code will be made available at https://metadriverse.github.io/policydissect.

研究の動機と目的

• 再訓練やアーキテクチャの変更なしに、事前学習済みの深層強化学習エージェントに対して人間とAIの共有制御を可能にすること。
• ニューラルポリシーの内部表現を解釈し、ヨー、速度、姿勢などの特定の運動学的属性と関連付けること。
• 複雑な制御タスクにおけるリアルタイム人間干渉を可能にする、一般化可能でアーキテクチャに依存しない手法を開発すること。
• 人間がループ内に参加する制御により、未知の環境におけるテスト時の一般化性能と安全性を向上させること。
• 単純なタスクのために訓練されたエージェントにおいても、バックフリップやしゃがみ動作といった複雑なモータースキルの制御を実証すること。

提案手法

• Policy Dissectionは、事前学習済みポリシーのロールアウト中に得られる時系列活性化を周波数分析する。
• クロススペクトルコherencte（cross-spectral coherence）を用いて、特定の運動学的属性（例：ヨー速度、垂直速度）の周波数と最も一致する活性化パターンを示すユニットを同定する。
• 各同定されたユニット（モーター・プリミティブ）を制御可能な運動学的行動に関連付けることで、刺激誘発マップを構築する。
• 人間の制御は、推論中にこれらの発見されたモーター・プリミティブの活性化を変更することで実現される。
• このアプローチはモデルに依存せず、再訓練、報酬関数の変更、環境の変更を一切必要としない。
• 神経科学、特に運動皮質刺激研究の原則を応用して、深層ポリシー表現を解釈する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、事前学習済みの深層強化学習ポリシー内に解釈可能なモーター・プリミティブを同定できるか？
• RQ2 同定されたこれらのプリミティブは、ジャンプやバックフリップのような複雑な行動をリアルタイムで人間が制御可能か？
• RQ3 Policy Dissectionによる人間-AI共有制御は、未知の環境におけるパフォーマンスと安全性を向上させるか？
• RQ4 精度と柔軟性の観点から、ゴール条件付きポリシーと比較して、本手法の制御性はどの程度か？
• RQ5 本手法は、異なる制御タスクやニューラルネットワークアーキテクチャ間で一般化可能か？

主な発見

• 自動運転タスクにおいて、Policy Dissectionを用いた人間-AI共有制御システムは、未知の交通シーンにおいて、ベースラインポリシーを上回る顕著なパフォーマンスと安全性の向上を達成した。
• 四足歩行ロボットにおいて、Policy Dissectionは新しい環境の障害物を回避する能力を実現し、視覚ベースのポリシー（特定のタスクに特化して訓練）と同等の性能を達成した。
• Cassieロボットにおいて、前方移動のみを目的に訓練されたポリシーから、しゃがみ、ジャンプ、バックフリップのスキルを発見し、人間のオペレータがそれらを組み合わせてパーカークロスを走破した。
• ヘディング追従タスクにおいて、プリミティブ活性化制御はゴール条件付き制御と同等の精度を達成し、追従誤差プロファイルはPIDベースのベースラインとほぼ同一であった。
• 本手法は、歩行や走行を含む多様なタスクに一般化可能であり、下位のRLポリシーのアーキテクチャ的・アルゴリズム的制約なしに機能した。
• 刺激誘発マップにより、再訓練なしに人間による発見されたモーター・プリミティブのモodulationによって、新たなタスクの実行が可能になった。