[논문 리뷰] Accelerating Laboratory Automation Through Robot Skill Learning For Sample Scraping

Gabriella Pizzuto, Hetong Wang외 4명|arXiv (Cornell University)|2022. 09. 29.

Innovative Microfluidic and Catalytic Techniques Innovation인용 수 5

한 줄 요약

이 논문은 화학 실험실에서 로봇 샘플 스케링을 자동으로 학습하기 위해 모델 프리 강화학습(RL) 접근법을 제안한다. 이 방법은 시뮬레이션 및 실제 로봇 조작자에서 분말을 플라스크에서 정밀하고 힘 인식 가능한 방식으로 스케링할 수 있도록 하며, 다양한 플라스크 크기와 스케링 도구에 대해 성공적인 스케링을 달성한다. 이는 결정화 워크플로우에서 중요한 정교한 작업을 자동화할 수 있음을 입증한다.

ABSTRACT

The use of laboratory robotics for autonomous experiments offers an attractive route to alleviate scientists from tedious tasks while accelerating material discovery for topical issues such as climate change and pharmaceuticals. While some experimental workflows can already benefit from automation, sample preparation is still carried out manually due to the high level of motor function and dexterity required when dealing with different tools, chemicals, and glassware. A fundamental workflow in chemical fields is crystallisation, where one application is polymorph screening, i.e., obtaining a three dimensional molecular structure from a crystal. For this process, it is of utmost importance to recover as much of the sample as possible since synthesising molecules is both costly in time and money. To this aim, chemists scrape vials to retrieve sample contents prior to imaging plate transfer. Automating this process is challenging as it goes beyond robotic insertion tasks due to a fundamental requirement of having to execute fine-granular movements within a constrained environment (sample vial). Motivated by how human chemists carry out this process of scraping powder from vials, our work proposes a model-free reinforcement learning method for learning a scraping policy, leading to a fully autonomous sample scraping procedure. We first create a scenario-specific simulation environment with a Panda Franka Emika robot using a laboratory scraper that is inserted into a simulated vial, to demonstrate how a scraping policy can be learned successfully in simulation. We then train and evaluate our method on a real robotic manipulator in laboratory settings, and show that our method can autonomously scrape powder across various setups.

연구 동기 및 목표

• 복잡성으로 인해 현재 화학자들이 수행하고 있는 수동적이고 고정도가 요구되는 작업, 예를 들어 샘플 스케링과 같은 작업의 자동화 과제를 해결하기 위해.
• 제약 조건이 있는 플라스크 환경 내에서 세밀하고 힘에 민감한 스케링 동작을 학습할 수 있는 데이터 기반 로봇 정책을 개발하기 위해.
• 시뮬레이션에서 훈련된 강화학습 정책을 실제 로봇 조작자에 배포할 수 있는 가능성을 입증하기 위해.
• 플라스크 벽면에서 분말을 자동으로 반복적으로 스케링할 수 있도록 함으로써 결정화 워크플로우에서 샘플 회수를 향상시키기 위해.
• 복잡한 조작 작업에 대한 훈련에서 샘플 효율성과 성공률을 향상시키기 위해 커리큘럼 학습을 활용하는 방법을 탐색하기 위해.

제안 방법

• 물리 기반 역학을 사용하여 팬다 프랭카 에미카 로봇, 실험실 스케링 도구, 플라스크를 포함한 시뮬레이션 환경을 구축하였다.
• 자기 감지 및 힘 관측값을 종단 기구 동작으로 매핑하는 정책을 학습하기 위해 모델 프리 딥 강화학습(DRL) 알고리즘을 사용하였다.
• 훈련 중에 작업 영역 크기를 점진적으로 증가시켜 샘플 효율성과 성공률을 향상시키기 위해 커리큘럼 학습을 적용하였다.
• 정책은 플라스크의 정해진 영역 내에서 분말 회수를 최대화하도록 훈련되었으며, 플라스크를 24개 영역(각각 π/12 라디안)으로 돌린 후 각 영역에서 스케링 사이클을 반복하였다.
• 최종 정책는 도메인 랜덤라이제이션을 최소화하고, 철저한 시뮬레이션에서 실제 환경으로의 전이 설계에 기반하여 실제 로봇 플랫폼에 이식되었다.
• 안전 조치로, 플라스크 기울임 또는 파손을 방지하기 위해 z축 힘 한계값(Fz > 20 N)을 초과할 경우 초기 위치로 복귀하는 동작을 트리거하는 조치를 시행하였다.

Figure 1: Overview of laboratory sample scraping, where (left) a human scientist scrapes crystals that generally form on vial walls by transcending along the walls vertically and (right) our robot learning to scrape via RL.

실험 결과

연구 질문

• RQ1 모델 프리 강화학습은 제약 조건이 있는 플라스크 환경에서 정교하고 힘 인식 가능한 스케링 정책을 학습할 수 있는가?
• RQ2 커리큘럼 학습은 복잡한 플라스크 내 스케링 작업에 대한 훈련에서 샘플 효율성과 성공률을 어떻게 향상시키는가?
• RQ3 시뮬레이션에서 훈련된 정책는 다양한 플라스크 및 도구 구성에 대해 실제 로봇 조작자에 성공적으로 배포될 수 있는가?
• RQ4 실제 환경 배포에서의 주요 실패 원인은 무엇이며, 설계 및 안전 제약 조건을 통해 이를 어떻게 완화할 수 있는가?
• RQ5 시각 입력 또는 다른 도구를 활용할 경우 스케링 정책의 효율성과 강건성은 어느 정도 향상될 수 있는가?

주요 결과

• 제안된 방법은 다양한 플라스크 크기와 스케링 도구 길이에 대해 일반화된 스케링 정책을 시뮬레이션에서 성공적으로 학습하였으며, 실제 시험에서 완전한 분말 제거를 달성하였다.
• 커리큘럼 학습의 적용은 훈련 성능을 크게 향상시켰으며, 기존 강화학습이 실패한 복잡한 삽입 및 스케링 작업을 학습할 수 있도록 하였다.
• 정책은 실제 로봇 조작자에 성공적으로 배포되어 플라스크의 24개 영역에서 일관된 성능을 보이며 자율 스케링을 수행하였다.
• 정책은 플라스크 벽면에서 분말을 스케링하는 데 높은 성공률를 기록하였으며, 단 한 번의 복구 불가능한 실패 사례(스케링 도구가 막힘)를 제외하고는 모두 성공하였다.
• z축 힘 한계값(Fz > 20 N)을 적용한 안전 조치는 실제 운영 중 플라스크 기울임 및 파손을 효과적으로 방지하였다.
• 결과적으로 딥 강화학습은 이전에는 전통적 실험실 로봇 기술로는 구현하기 어려웠던, 정교한 운동 제어와 힘 피드백이 필요한 작업의 자동화를 가능하게 함을 보여주었다.

Figure 2: The overall block diagram of autonomous robotic scraping. Our method consists of an RL policy and a robotic controller. We map the action (cartesian pose) to joint positions using inverse kinematics to achieve the target goal. The controller uses force/torque feedback at the end effector a