[論文レビュー] Assembly robots with optimized control stiffness through reinforcement learning

Masahide Oikawa, Kyo Kutsuzawa+2 more|arXiv (Cornell University)|Feb 27, 2020

Robot Manipulation and Learning参考文献 22被引用数 5

ひとこと要約

本論文は、アタッチメント制御における組立ロボット向けに、リアルタイムで非対角行列の剛性行列を動的に生成する強化学習（RL）ベースの手法を提案している。この手法により、ピッグインホールやギア挿入といった高精度で接触の多いタスクを実現する。剛性行列をRLの行動として扱うことで、平均実行時間が2秒未満に抑えられ、先行研究比で50%の高速化を達成し、不確実性下でも迅速かつ頑健な応答を実現した。

ABSTRACT

There is an increased demand for task automation in robots. Contact-rich tasks, wherein multiple contact transitions occur in a series of operations, are extensively being studied to realize high accuracy. In this study, we propose a methodology that uses reinforcement learning (RL) to achieve high performance in robots for the execution of assembly tasks that require precise contact with objects without causing damage. The proposed method ensures the online generation of stiffness matrices that help improve the performance of local trajectory optimization. The method has an advantage of rapid response owing to short sampling time of the trajectory planning. The effectiveness of the method was verified via experiments involving two contact-rich tasks. The results indicate that the proposed method can be implemented in various contact-rich manipulations. A demonstration video shows the performance. (https://youtu.be/gxSCl7Tp4-0)

研究の動機と目的

• ロボットの位置誤差がある中でも、ミリメートル未満の精度が求められる高精度で接触の多いロボット組立タスクの課題に対処すること。
• 従来のロボット分野における強化学習の限界、すなわちリアルタイム制御に不適切な遅延（通常10–20 ms以上）を有する行動出力サイクルを克服すること。
• 参照軌道を変更せずに、局所的軌道最適化を向上させるオンラインで適応可能な剛性調整を可能にすること。
• 複雑な接触遷移において、正確な物理モデルや事前定義のヒューリスティクスへの依存を低減すること。
• 特に公差が厳しい（例：20 µmのクリアランス）タスクにおいて、最小限の実世界試行データで実世界実験においても頑健な性能を示すこと。

提案手法

• 本手法は、非対角剛性行列を行動として生成する深層Q学習を用い、これをアドミタンス制御モデルに直接適用する。
• エージェントはリアルタイムの力・トルクおよび位置フィードバックに基づき、接触状態に応じた動的適応を実現する。
• 行動空間には5つの非対角剛性行列が含まれており、そのうち1つはギア挿入時の回転アライメントに特化して設計されている。
• 制御サイクルはロボットのリアルタイム制御ループと同期しており、剛性更新の応答時間が10 ms未満に抑えられる。
• 本手法は軌道計画と剛性適応を分離しており、標準的な軌道プランナと並列で動作可能である。
• 本手法はリモートセンター・コンプライアンスなどの機械的コンプライアンスソリューションと互換性があり、環境の不確実性に対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて、制御サイクル周波数（例：10 ms未満）で剛性行列をオンラインで生成し、接触の多いタスクにおけるリアルタイム適応を可能にすることができるか？
• RQ2 剛性行列の適応は、参照軌道を変更せずに、どのように局所的軌道最適化を向上させるか？
• RQ3 力・トルクおよび位置フィードバックのみを用いて、RLエージェントが正しいアライメント（例：穴の中心への位置合わせ）を指向する剛性行列を選択できるか？
• RQ4 初期位置誤差や部品のずれがある状況下で、高精度タスクにおいて本手法は不確実性にどのように耐性を示すか？
• RQ5 同じ制御アーキテクチャが、ピッグインホールやギア挿入といった多様な接触の多いタスクを、最小限の再設定で処理できるか？

主な発見

• 提案手法は、0°の傾きを有するピッグインホールタスクで平均1.64秒、2°の傾きを有するタスクで1.87秒の実行時間を達成し、先行研究比で50%の短縮を実現した。
• エージェントは力・トルクフィードバックに基づき剛性行列を適切に選択し、穴の位置が不明で位置誤差が存在する状況下でも、ピッグを穴の中心に誘導することができた。
• ギア挿入タスクでは、線形軌道と可変剛性制御のみを用いて、接触や回転軌道計画を明示的に定義せずとも、正常なアライメントと挿入を達成した。
• ピッグインホールとギア挿入の両タスクにおいて、探索と挿入の時間分布が類似しており、本手法の接触の多い操作タスクへの汎用性を示している。
• 20 µmのクリアランスおよびx-y方向で±3 mmの初期オフセット下でも、100回の試行において一貫した成功を示した。
• 動画結果（https://youtu.be/gxSCl7Tp4-0）は、モデルベースのヒューリスティクスを用いずに、安定したリアルタイム適応とタスク完了を示している。