[논문 리뷰] The Importance and the Limitations of Sim2Real for Robotic Manipulation in Precision Agriculture

Carlo Rizzardo, Sunny Katyara외 2명|arXiv (Cornell University)|2020. 08. 10.

Smart Agriculture and AI참고 문헌 10인용 수 4

한 줄 요약

이 논문은 정밀 농업을 위한 로봇 절단 작업에서 sim2real 전이의 핵심 역할과 내재된 한계를 조사한다. 포도수 수확 후 정리 작업을 중심으로, Gazebo에 맞춤형 포도수 모델과 Faster R-CNN 검출 파이프라인을 사용하여, 시뮬레이션은 안전하고 반복 가능한 훈련을 가능하게 하지만 현재의 시뮬레이터는 특히 유연성 있는 식물에 대해 충분한 시각적 및 물리적 현실감을 구현하지 못하여, 도메인 랜덤라이제이션과 같은 고도의 기법을 사용함에도 불구하고 기계 학습 기반 방법의 효과가 제한됨을 입증한다.

ABSTRACT

In recent years Sim2Real approaches have brought great results to robotics. Techniques such as model-based learning or domain randomization can help overcome the gap between simulation and reality, but in some situations simulation accuracy is still needed. An example is agricultural robotics, which needs detailed simulations, both in terms of dynamics and visuals. However, simulation software is still not capable of such quality and accuracy. Current Sim2Real techniques are helpful in mitigating the problem, but for these specific tasks they are not enough.

연구 동기 및 목표

• 계절적 제약과 고가의 작물으로 인해 실제 환경 테스트가 부족한 문제를 해결하기 위해.
• 포도수처럼 매우 다양하고 변형 가능한 식물에서 로봇 절단 기술을 훈련하는 데 어려움을 극복하기 위해.
• 실제 농업 작업인 冬지기 포도수 절단에 있어 현재의 sim2real 접근 방식의 효과성을 평가하기 위해.
• 실제 포도수의 시각적 렌더링과 물리 모델링의 정확도가 떨어지는 시뮬레이션의 허점—특히 신뢰할 수 있는 sim2real 전이를 방해하는 요소—를 특정하기 위해.
• 고정밀 농업 로봇 기술 응용 분야에 적합한 기존 시뮬레이션 플랫폼(Gazebo, Unity, Nvidia Isaac Sim)의 적합성을 평가하기 위해.

제안 방법

• 휠 기반 이동 플랫폼과 다관절 암을 사용하여 Gazebo에서 시뮬레이션된 로봇 절단 설정을 개발하였다.
• 실제 포도수 사진을 참조하여 Blender에서 세밀한 포도수 모델을 제작하였으며, 자연스러운 운동을 시뮬레이션하기 위해 기본 관절을 도입하였다.
• 실제 농장 데이터로 훈련된 Faster R-CNN 기반 검출 시스템을 구현하여 절단 지점을 식별하였다.
• 근접 촬영 이미지에 그래프-모르포메트리 분석을 적용하여 시뮬레이션 및 실제 환경에서 모두 절단 자세를 추출하였다.
• 시뮬레이션 및 실제 환경 간의 검출 및 조작 성능을 테스트하여 sim2real 전이 효과를 평가하였다.
• 더 높은 시각적 현실감과 향상된 물리 모델링을 제공하는 대안 시뮬레이터(Unity, Nvidia Isaac Sim)를 탐색하였으며, ROS와의 통합 과제를 평가하였다.

실험 결과

연구 질문

• RQ1 Gazebo에서의 시뮬레이션 기반 훈련이 포도수 절단을 위한 효과적인 sim2real 전이를 얼마나 잘 가능하게 하는가?
• RQ2 현재 시뮬레이션 소프트웨어가 실제 포도수의 시각적 복잡성과 동적 특성을 얼마나 잘 재현하는가?
• RQ3 시뮬레이션에서의 시각적 및 물리적 정확도가 농업 분야의 기계 학습 기반 조작 정책 성능에 어떻게 영향을 미치는가?
• RQ4 Unity나 Nvidia Isaac Sim과 같은 최신 시뮬레이터가 农업 분야에서 Gazebo의 단점을 보완할 수 있는가?
• RQ5 시뮬레이션의 현실감, 모델 복잡도, 그리고 ROS와 같은 로봇 프레임워크와의 통합 간의 상충 관계는 무엇인가?

주요 결과

• 도메인 랜덤라이제이션과 훈련된 Faster R-CNN 검출기 조차도 시뮬레이션의 시각적 및 물리적 현실감이 부족하여 sim2real 전이가 여전히 도전적이다.
• Gazebo에서 시각적으로 정확한 포도수 모델을 제작하는 것은 잎이 없을 때조차도 매우 시간이 오래 걸리며, 작은 봉오리 같은 미세한 디테일을 포착하지 못한다.
• 관절 기반의 식물 변형성 모델링은 현실감을 높이기 위해 과도하게 많은 관절이 필요하여 실용적이지 않으며, 계산 비용도 매우 높다.
• 현재 시뮬레이터는 农업 분야에서 신뢰할 수 있는 기계 학습 기반 조작을 위해 필요한 포토레얼리스틱 렌더링과 고정밀 물리 시뮬레이션을 통합하지 못하고 있다.
• Unity와 Nvidia Isaac Sim은 더 나은 시각적 품질과 향상된 물리 모델링을 제공하지만, ROS와의 통합은 번거롭고 실용적 적용을 제한한다.
• 현재까지의 모든 시뮬레이션 플랫폼은 농업 로봇 기술 응용 분야에 필요한 모든 조건—정확한 렌더링, 정확한 물리 모델링, 로봇 프레임워크와의 원활한 통합—을 만족시키지 못하고 있다.