[論文レビュー] Accelerating Laboratory Automation Through Robot Skill Learning For Sample Scraping

Gabriella Pizzuto, Hetong Wang+4 more|arXiv (Cornell University)|Sep 29, 2022

Innovative Microfluidic and Catalytic Techniques Innovation被引用数 5

ひとこと要約

本論文では、化学実験室におけるロボットのサンプルすり取りを自律的に行うモデルフリー強化学習（RL）手法を提案する。この手法により、シミュレーションおよび実世界のロボットアームを用いて、力覚に配慮した粉体のすり取りを正確に実行できる。本手法は、異なるビーカーのサイズやスクラップャーの工具にも一般化可能であり、結晶化プロトコルにおけるきめ細やかな操作を自動化する可能性を示している。

ABSTRACT

The use of laboratory robotics for autonomous experiments offers an attractive route to alleviate scientists from tedious tasks while accelerating material discovery for topical issues such as climate change and pharmaceuticals. While some experimental workflows can already benefit from automation, sample preparation is still carried out manually due to the high level of motor function and dexterity required when dealing with different tools, chemicals, and glassware. A fundamental workflow in chemical fields is crystallisation, where one application is polymorph screening, i.e., obtaining a three dimensional molecular structure from a crystal. For this process, it is of utmost importance to recover as much of the sample as possible since synthesising molecules is both costly in time and money. To this aim, chemists scrape vials to retrieve sample contents prior to imaging plate transfer. Automating this process is challenging as it goes beyond robotic insertion tasks due to a fundamental requirement of having to execute fine-granular movements within a constrained environment (sample vial). Motivated by how human chemists carry out this process of scraping powder from vials, our work proposes a model-free reinforcement learning method for learning a scraping policy, leading to a fully autonomous sample scraping procedure. We first create a scenario-specific simulation environment with a Panda Franka Emika robot using a laboratory scraper that is inserted into a simulated vial, to demonstrate how a scraping policy can be learned successfully in simulation. We then train and evaluate our method on a real robotic manipulator in laboratory settings, and show that our method can autonomously scrape powder across various setups.

研究の動機と目的

• 手作業で行われている複雑な高精細度タスク、たとえば結晶化プロトコルにおけるサンプルすり取りを自動化する課題に対処すること。
• 制約のあるビーカー環境内で、微細で力に敏感なすり取り動作を学習できるデータ駆動型ロボットポリシーを開発すること。
• シミュレーションで訓練された強化学習ポリシーを、実際のロボットアームに展開する可能性を実証すること。
• ビーカー内壁に付着した粉体を自動で繰り返しすり取ることで、結晶化プロトコルにおけるサンプル回収率を向上させること。
• 複雑な操作タスクの訓練におけるサンプル効率と成功確率を向上させるために、カリキュラム学習を用いる方法を検討すること。

提案手法

• 物理ベースのダイナミクスを用いて挿入およびすり取りをモデル化するため、Panda Franka Emika ロボット、実験用スクラッパー、ビーカーを用いたシミュレーション環境を構築した。
• 自己位置および力の観測をエンドエフェクタの行動にマッピングするモデルフリー深層強化学習（DRL）アルゴリズムを用いてポリシーを訓練した。
• 訓練中に作業領域のサイズを段階的に拡大することで、カリキュラム学習を適用し、サンプル効率と成功確率を向上させた。
• ポリシーは、ビーカー内の所定の領域における粉体回収量を最大化するように訓練され、ビーカーを回転させながら24の領域（それぞれπ/12ラジアン）を繰り返しすり取りを行った。
• 最終的なポリシーは、ドメインランダマイゼーションを最小限に抑え、シミュレーションから実世界への移行設計を慎重に行うことで、実ロボットプラットフォームに移行した。
• 安全性のため、力のz成分が20 Nを超えた場合に初期位置に戻る動作をトリガーする力しきい値（Fz > 20 N）を導入した。

Figure 1: Overview of laboratory sample scraping, where (left) a human scientist scrapes crystals that generally form on vial walls by transcending along the walls vertically and (right) our robot learning to scrape via RL.

実験結果

リサーチクエスチョン

• RQ1 モデルフリー強化学習は、制限されたビーカー環境内での高精度で力に配慮したすり取りポリシーを学習できるか？
• RQ2 カリキュラム学習は、複雑なビーカー内すり取りタスクの訓練におけるサンプル効率と成功確率をどのように向上させるか？
• RQ3 シミュレーションで訓練されたポリシーは、異なるビーカーおよび工具設定において、実際のロボットアームに成功裏に展開可能か？
• RQ4 実世界での展開における主な失敗モードは何か？そして、設計的工夫と安全制約によってそれらをどのように緩和できるか？
• RQ5 視覚入力や代替ツールを用いることで、すり取りポリシーの効率性と頑健性はどの程度向上できるか？

主な発見

• 提案手法は、シミュレーションで学習したすり取りポリシーが、異なるビーカーのサイズやスクラッパーの長さに一般化可能であり、実世界の試行でも粉体の完全回収を達成した。
• カリキュラム学習の導入により、訓練性能が顕著に向上し、標準的なRLでは失敗した複雑な挿入およびすり取りタスクを学習可能となった。
• ポリシーは実ロボットアームに成功裏に展開され、24のビーカー領域を一貫した性能で自動ですり取りした。
• ビーカー内壁からの粉体すり取りにおいて高い成功確率を達成したが、1件の非回収失敗事例（スクラッパーのつまり）が発生し、手動での人為的介入を要した。
• 力のz成分（Fz > 20 N）に対するしきい値を設ける安全対策が、実世界での運用においてビーカーの倒壊や破損を効果的に防止した。
• 結果から、DRLが従来のラボロボティクスでは実現が難しかった、微細な運動制御と力フィードバックを要するタスクの自動化を可能にすることが示された。

Figure 2: The overall block diagram of autonomous robotic scraping. Our method consists of an RL policy and a robotic controller. We map the action (cartesian pose) to joint positions using inverse kinematics to achieve the target goal. The controller uses force/torque feedback at the end effector a