[論文レビュー] Reinforcement Learning-based Virtual Fixtures for Teleoperation of Hydraulic Construction Machine

Hyung Joo Lee, Sigrid Brell‐Çokcan|arXiv (Cornell University)|Jun 20, 2023

BIM and Construction Integration被引用数 4

ひとこと要約

本論文は、データ駆動型シミュレーションから得たデータを用いて最適なジョイント連携ポリシーを学習する強化学習（RL）ベースのバーチャルフィックスシステムを提案し、油圧建設機械の遠隔操作を向上させる。フレームワークは、学習されたバーチャルフィックスを通じてジョイスティック入力をガイドすることで、作業者の認知的負荷を軽減し、タスク効率を向上させる。ユーザースタディーにより、ボーリングホールへのチゼル挿入作業において、作業効率が向上し、より滑らかなエンドエフェクタ軌道が得られることを実証した。

ABSTRACT

The utilization of teleoperation is a crucial aspect of the construction industry, as it enables operators to control machines safely from a distance. However, remote operation of these machines at a joint level using individual joysticks necessitates extensive training for operators to achieve proficiency due to their multiple degrees of freedom. Additionally, verifying the machine resulting motion is only possible after execution, making optimal control challenging. In addressing this issue, this study proposes a reinforcement learning-based approach to optimize task performance. The control policy acquired through learning is used to provide instructions on efficiently controlling and coordinating multiple joints. To evaluate the effectiveness of the proposed framework, a user study is conducted with a Brokk 170 construction machine by assessing its performance in a typical construction task involving inserting a chisel into a borehole. The effectiveness of the proposed framework is evaluated by comparing the performance of participants in the presence and absence of virtual fixtures. This study results demonstrate the proposed framework potential in enhancing the teleoperation process in the construction industry.

研究の動機と目的

• 個々のジョイスティックを用いた多自由度の建設機械を遠隔操作する際の高い認知的および運動的負荷に対処すること。
• リアルタイムフィードバックが限られる非構造的建設環境において、作業者の誤りを低減し、タスク効率を向上させること。
• 詳細な解析的モデルを必要とせず、機械固有の非線形ダイナミクスを捉えるデータ駆動型で、シミュレーションベースのRLフレームワークを開発すること。
• 訓練されたRLポリシーから得たバーチャルフィックスの有効性を、実世界の遠隔操作タスクで評価すること。
• 訓練環境にデータ駆動型アクチュエータモデルを統合することで、シミュレーションと現実のギャップを最小限に抑えること。

提案手法

• 実際の機械運用データを用いてトレーニングされたデータ駆動型アクチュエータモデルが、シミュレーション内で非線形油圧ダイナミクスを正確に再現する。
• 128台のエージェントを並列で使用したシミュレーション環境で、ディープ強化学習エージェントがハンマ挿入タスクを学習する。
• 訓練されたRLポリシーが最適なジョイント軌道を生成し、人間の作業者がガイドされるバーチャルフィックスを定義する。
• バーチャルフィックスは、最適なジョイスティック操作とジョイント連携パターンを示す視覚的および運動的制約として実装される。
• データ駆動型アクチュエータモデルを統合した動的シミュレータを用いることで、トレーニングおよび評価中のリアルな運動を保証する。
• ユーザースタディーでは、ブロック170マシンを用いて、バーチャルフィックスありとなしの遠隔操作性能をボーリングホール挿入タスクで比較した。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型RLフレームワークは、シミュレーションと現実のギャップを最小限に抑えつつ、油圧建設機械の遠隔操作に適した効率的なジョイント連携ポリシーを学習できるか？
• RQ2 訓練されたRLポリシーから得たバーチャルフィックスは、複雑な遠隔操作タスクにおける作業者パフォーマンスの向上にどの程度効果的か？
• RQ3 バーチャルフィックスは、多関節建設機械の遠隔操作において、認知的負荷と身体的負担をどの程度低減できるか？
• RQ4 バーチャルフィックスは、複数の関節を同時に使用するのをガイドすることで、より滑らかで効率的なエンドエフェクタ軌道を実現できるか？
• RQ5 実際の機械データをRLトレーニングプロセスに統合することで、ポリシーの一般化能力とタスクパフォーマンスはどのように向上するか？

主な発見

• バーチャルフィックスを用いた参加者では、ナサ-TLXアンケートの結果から、認知的負荷と主観的作業負荷が有意に低減された。
• バーチャルフィックスの使用により、複数の関節を同時に制御する傾向が強まり、逐次的な操作から脱却した。
• バーチャルフィックスを用いたエンドエフェクタ軌道は滑らかで、移動回数も減少し、ボーリングホールへの挿入がより速く正確になった。
• バーチャルフィックスにより、作業者がボーリングホールとの最適な距離を維持するようガイドされ、修正動作の回数が減少した。
• データ駆動型アクチュエータモデルにより、シミュレーションと現実のギャップが効果的に低減され、訓練されたポリシーが実世界の遠隔操作にうまく一般化された。
• このフレームワークは、動的で非構造的な環境下でも、複雑な油圧建設機械の安全かつ効率的な遠隔操作を実現した。