[論文レビュー] Deep Reinforcement Learning for Haptic Shared Control in Unknown Tasks

Franklin Cardeñoso Fernández, Wouter Caarls|arXiv (Cornell University)|Jan 15, 2021

Teleoperation and Haptic Systems被引用数 4

ひとこと要約

本論文では、深層強化学習（DDPG）と畳み込みニューラルネットワーク（VGG16）を用いて視覚入力からタスクの意図を推定する、タスクに依存しないハプティクス共有制御システムを提案する。これにより、遠隔操作におけるパーソナライズされた、適応的な支援が可能になる。システムは、リアルタイムでのユーザー行動と視覚的文脈に基づき、動的にハプティクスフィードバックを調整することで、ユーザー固有のポリシーを学習し、タスク完了時間を短縮し、抵抗を低減する。

ABSTRACT

Recent years have shown a growing interest in using haptic shared control (HSC) in teleoperated systems. In HSC, the application of virtual guiding forces decreases the user's control effort and improves execution time in various tasks, presenting a good alternative in comparison with direct teleoperation. HSC, despite demonstrating good performance, opens a new gap: how to design the guiding forces. For this reason, the challenge lies in developing controllers to provide the optimal guiding forces for the tasks that are being performed. This work addresses this challenge by designing a controller based on the deep deterministic policy gradient (DDPG) algorithm to provide the assistance, and a convolutional neural network (CNN) to perform the task detection, called TAHSC (Task Agnostic Haptic Shared Controller). The agent learns to minimize the time it takes the human to execute the desired task, while simultaneously minimizing their resistance to the provided feedback. This resistance thus provides the learning algorithm with information about which direction the human is trying to follow, in this case, the pick-and-place task. Diverse results demonstrate the successful application of the proposed approach by learning custom policies for each user who was asked to test the system. It exhibits stable convergence and aids the user in completing the task with the least amount of time possible.

研究の動機と目的

• 未知または動的タスクにおけるハプティクス共有制御（HSC）における最適な誘導力の設計という課題に取り組む。
• 事前に定義されたタスク定義なしに、視覚入力（例：持ち上げて配置する）から暗黙的にタスクの意図を推定できるようにする。
• 強化学習を通じてユーザー固有のポリシーを学習し、個々のユーザー行動に適応することで支援をパーソナライズする。
• タスク実行時間とハプティクスフィードバックへのユーザーの抵抗の両方を最小化することで、タスクパフォーマンスを向上させる。
• ユーザー間で一般化可能でありながら、リアルタイム遠隔操作における安定した収束性と適応性を維持するシステムを開発する。

提案手法

• リアルタイム遠隔操作におけるハプティクス支援のための連続的制御ポリシーを学習するために、深層決定的方策勾配（DDPG）アルゴリズムを用いる。
• 環境からの視覚的入力を処理し、タスクの文脈を推定して強化学習ポリシーをガイドするため、畳み込みニューラルネットワーク（VGG16）を用いる。
• 報酬関数は、タスク完了時間とユーザー抵抗を最小化するように設計されており、ユーザー行動に合わせてチューニングされたしきい値パラメータを含む。
• DDPGに基づく強化学習コントローラーと比例的遠隔操作コントローラーを統合し、人間とロボットのパフォーマンスを最適化する。
• ユーザーの行動と視覚的観測を状態入力として用い、シミュレーテッド環境内での試行錯誤の相互作用から、強化学習エージェントが学習する。
• ユーザー行動が最適な支援戦略を直接形作るため、ポリシーはオンポリシー相互作用を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、タスクに関する事前知識なしに、効果的でユーザー固有のハプティクス支援ポリシーを学習できるか？
• RQ2 未知のタスクを伴う遠隔操作設定において、CNN（VGG16）は視覚入力からタスクの意図をどれほど正確に推定できるか？
• RQ3 ベースライン遠隔操作と比較して、学習されたポリシーはタスク完了時間とユーザー抵抗をどの程度低減するか？
• RQ4 本システムは異なるユーザーにどのように一般化されるか？また、ユーザー固有のファインチューニングはパフォーマンスを向上させるか？
• RQ5 あるユーザーの行動に基づいてしきい値パラメータを設定した場合、報酬関数はユーザーの意図を効果的に捉えることができるか？

主な発見

• システムは訓練を通じてユーザー固有のポリシーを効果的に学習し、タスク完了時間が短縮され、ユーザー抵抗が低減した。
• 被験者2は、訓練後、平均速度の向上と力の低減が顕著に見られ、ポリシー適応の強さが示された。
• 被験者1は、低速かつ高時間であったが、一貫したポリシー学習を示しており、システムが多様なユーザー行動に適応可能であることを裏付けた。
• 被験者0は中程度のパフォーマンスを示し、システムがユーザー間で一般化可能であるが、最適な結果はユーザー固有の訓練が必要であることを確認した。
• 全被験者においてポリシーが安定して収束したため、リアルタイム動作における耐障害性と信頼性が裏付けられた。
• 視覚的入力（VGG16経由）の使用により、明示的なタスク定義なしに動的なタスク推定が可能となり、タスクに依存しない運用を支援した。