[논문 리뷰] Integrating a Manual Pipette into a Collaborative Robot Manipulator for Flexible Liquid Dispensing

Junbo Zhang, Weiwei Wan외 3명|arXiv (Cornell University)|2022. 07. 04.

Electrowetting and Microfluidic Technologies인용 수 4

한 줄 요약

이 논문은 실험실 환경에서 유연하고 고정밀한 액체 분배를 위한 표준 수동 피펫을 통합하는 공동 작업 로봇 시스템을 제안한다. 직접 교육을 통한 시약대 위치 인식, 운동 계획 수립, 비전 트랜스포머를 활용한 비전 기반 오차 보정을 결합하여, 실험실 구조 변경 없이도 견고한 피펫 헤드 부착과 분배를 달성한다. 이는 혼잡한 실험실에서 저빈도, 고반복 생화학 작업에 빠르게 구현 가능하게 한다.

ABSTRACT

This paper presents a system integration approach for a 6-DoF (Degree of Freedom) collaborative robot to operate a pipette for liquid dispensing. Its technical development is threefold. First, we designed an end-effector for holding and triggering manual pipettes. Second, we took advantage of a collaborative robot to recognize labware poses and planned robotic motion based on the recognized poses. Third, we developed vision-based classifiers to predict and correct positioning errors and thus precisely attached pipettes to disposable tips. Through experiments and analysis, we confirmed that the developed system, especially the planning and visual recognition methods, could help secure high-precision and flexible liquid dispensing. The developed system is suitable for low-frequency, high-repetition biochemical liquid dispensing tasks. We expect it to promote the deployment of collaborative robots for laboratory automation and thus improve the experimental efficiency without significantly customizing a laboratory environment.

연구 동기 및 목표

• 기존 실험실 환경에서 특수 목적의 인프라 없이도 공동 작업 로봇이 다양한 생화학 액체 분배 작업을 융통성 있게 반복 수행할 수 있도록 하는 것.
• 일반적으로 실험실에서 사용되는 표준 수동 피펫을 로봇 시스템에 통합할 때 피펫이나 시약대를 수정하지 않고도 문제를 해결하는 것.
• 낮은 비용으로 신속하게 구현 가능한 로봇 솔루션을 개발하여 인간과 안전하게 공존하고 기존 자동화 시스템과도 호환되게 하는 것.
• 비전 기반의 편차 예측 및 피드백 제어를 통해 피펫 헤드 부착 정확도를 향상시켜 실제 환경 조건에서도 견고성을 확보하는 것.

제안 방법

• 6-자유도 공동 작업 로봇을 개조하여 이중 지지대 평행 클램프와 내장된 RGB 카메라를 갖춘 맞춤형 종단 효과기구를 장착하여 수동 피펫을 고정하고 작동시켰다.
• 로봇의 직접 교육 모드를 활용해 사전 프로그래밍 없이도 시약대(팁 랙 및 마이크로플레이트)의 초깃세트 위치를 인식함으로써 다양한 구성에서의 융통성 있는 설정을 가능하게 하였다.
• 실시간 로봇 궤적 생성을 위해 인식된 시약대 위치 기반으로 유도 검색과 운동 계획을 번갈아 적용하여 동적 재구성 기능을 지원하였다.
• 피펫 헤드 부착을 '피스트론-홀' 작업으로 설정하고, 비전 트랜스포머 기반 분류기를 사용하여 피펫 샤프트와 헤드 사이의 정렬 편차를 탐지하였다.
• 오픈 루프 및 클로즈드 루프 시각 피드백을 적용함: 클로즈드 루프 업데이트가 연속적인 피펫 헤드 부착 과정에서 보정 결과를 전파하여 견고성을 향상시켰다.
• 다양한 헤드 오정렬 상황을 시뮬레이션하고 보정 단계를 측정하여 실제 세계 훈련 데이터를 수집함으로써 일반화 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 비전 기반 오차 탐지 및 보정을 통해 공동 작업 로봇이 수동 피펫에 일회용 헤드를 신뢰성 있게 부착할 수 있는가?
• RQ2 직접 교육과 운동 계획 통합이 랜덤하게 배치된 시약대를 가진 비정형 실험실 환경에서 융통성 있는 배치를 가능하게 하는가?
• RQ3 오픈 루프 방법 대비 클로즈드 루프 시각 피드백이 피펫 헤드 부착 성공률과 보정 효율성에 미치는 영향은 어떠한가?
• RQ4 로봇의 작업 영역 경계 근처에서의 위치 오차나 경계 효과에 대해 시스템이 어느 정도 견딜 수 있는가?
• RQ5 기존 자동화 시스템(예: RIPPS)과의 통합을 통해 식물 화학 분석 작업과 동기화된 액체 분배를 수행할 수 있는가?

주요 결과

• 모든 테스트 구성에서 견고한 피펫 헤드 부착을 달성하였으며, 세 번째 랙 구성에서 두 번의 실패만 발생했고, 이는 로봇 작업 영역 경계 근처의 높은 절대 위치 오차로 인한 것이었다.
• 클로즈드 루프 시각 피드백이 보정 단계를 줄이고 성공률을 향상시켰으며, 특히 기준점(ID 0)에서 떨어진 헤드의 경우 누적 오차 전파를 완화함으로써 효과적이었다.
• 비전 트랜스포머 분류기는 정렬 편차를 성공적으로 탐지하였으며, 시각화에서 어두운 격자 영역은 오정렬된 위치에서 더 많은 보정 단계를 요구함을 나타내었다. 실패 사례는 주로 잘못된 인식과 높은 위치 오차로 인한 것이었다.
• 시스템은 안전 울타리나 특수 시약대 없이도 좁고 수정되지 않은 실험실 공간에서도 빠른 설정이 가능하여 높은 융통성을 입증하였다.
• RIPPS 식물 형질 분석 시스템과의 통합을 통해 식물 화분에 동기화된 화학 물질 분배가 가능했으며, 기존 자동화 워크플로우와의 호환성을 확인하였다.
• 특수한 실험실 환경 수정 없이도 고정밀 액체 분배를 달성하여 저빈도, 고반복 실험을 효율적으로 지원함을 입증하였다.