[논문 리뷰] MIRA: Mental Imagery for Robotic Affordances

Yen-Chen Lin, Pete Florence외 7명|arXiv (Cornell University)|2022. 12. 12.

Robot Manipulation and Learning인용 수 13

한 줄 요약

MIRA는 정신적 영상 기반 동작 계획을 위해 신경형 광선장(네트워크)를 활용하는 새로운 로봇 추론 프레임워크를 제안한다. 이는 오직 RGB 이미지만으로 6-자유도 로봇 조작을 가능하게 하며, 정규화된 새로운 시점의 영상 합성과 순환적인 기능 예측 최적화를 통해 미리 보지 않은 평면 외 회전에 대해 0-샘플 일반화를 달성한다. 단지 10개의 시범 예제로도 반사성, 투명성 또는 얇은 구조를 가진 물체를 포함한 도전적인 실세계 작업에서 깊이 센서에 의존하는 기존 방법들을 능가한다.

ABSTRACT

Humans form mental images of 3D scenes to support counterfactual imagination, planning, and motor control. Our abilities to predict the appearance and affordance of the scene from previously unobserved viewpoints aid us in performing manipulation tasks (e.g., 6-DoF kitting) with a level of ease that is currently out of reach for existing robot learning frameworks. In this work, we aim to build artificial systems that can analogously plan actions on top of imagined images. To this end, we introduce Mental Imagery for Robotic Affordances (MIRA), an action reasoning framework that optimizes actions with novel-view synthesis and affordance prediction in the loop. Given a set of 2D RGB images, MIRA builds a consistent 3D scene representation, through which we synthesize novel orthographic views amenable to pixel-wise affordances prediction for action optimization. We illustrate how this optimization process enables us to generalize to unseen out-of-plane rotations for 6-DoF robotic manipulation tasks given a limited number of demonstrations, paving the way toward machines that autonomously learn to understand the world around them for planning actions.

연구 동기 및 목표

• 깊이 센서 없이 반사성, 투명성 또는 얇은 구조를 가진 표면을 가진 물체에 대해서도 복잡한 6-자유도 조작 작업을 수행할 수 있도록 하는 것.
• 로봇에 인간과 유사한 정신적 영상 능력을 부여하여 공간적 추론, 계획 및 동작 최적화를 가능하게 하는 것.
• 기능 기반 정책 학습에서 2D 상단 시점 및 투시 투영의 한계를 극복하기 위해 새로운 시점 합성과 정규화된 렌더링을 가능하게 하는 것.
• 오직 10개의 RGB 시범 예제로만 이루어진 학습을 통해 새로운 평면 외의 자세에 대해 샘플 효율적으로 일반화하는 것.
• 오직 RGB 인식과 NeRF 기반 정신적 영상이 반사성, 투명성 또는 얇은 구조를 가진 물체를 포함한 도전적인 실세계 작업에서 깊이 센서에 의존하는 방법보다 뛰어난 성능을 낼 수 있음을 입증하는 것.

제안 방법

• MIRA는 볼륨 렌더링과 투시 광선 캐스팅을 사용하여 다중 시점 RGB 이미지로부터 신경형 광선장(NeRF)을 학습시켜 3차원 환경 표현을 구성한다.
• NeRF 최적화 이후, 시스템은 정규화된 광선 캐스팅을 수행하여 거리에 영향을 받지 않는 새로운 시점의 영상을 합성하며, 이는 이동 등장성의 유지에 기여한다.
• 정규화된 시점은 픽셀 단위의 기능 예측 모델에 입력되어 픽업 및 놓기 동작에 대한 동작가치를 예측함으로써, 여러 상상된 시점에서의 동작 최적화를 가능하게 한다.
• 프레임워크는 합성된 시점들을 검색하여 가장 높은 점수를 받는 픽셀을 선택함으로써 동작을 최적화하며, 이 픽셀의 깊이 및 방향은 로봇의 6-자유도 운동 프리미티브를 정의한다.
• 전체 파이프라인은 새로운 시점 합성과 기능 예측을 닫힌 루프로 통합하여 반사적 추론과 새로운 자세에 대한 일반화를 가능하게 한다.
• 이 방법은 효율적인 추론을 위해 인스턴트-NGP를 사용하고, 로봇 팔 및 기타 간섭 요소로부터의 가림을 방지하기 위해 CUDA 최적화된 정규화된 광선 캐스팅을 적용한다.

실험 결과

연구 질문

• RQ1 정신적 영상 프레임워크를 통해 새로운 시점을 시뮬레이션함으로써 오직 RGB 이미지만으로 6-자유도 조작을 수행할 수 있는가?
• RQ2 정신적 영상 기반 렌더링에 비해 정규화된 시점 합성이 로봇 기능 예측의 동작 계획에 어떻게 향상되는가?
• RQ3 오직 10개의 RGB 시범 예제로 학습된 NeRF 기반 시스템이 평면 외의 자세에 대해 얼마나 일반화할 수 있는가?
• RQ4 정신적 영상 기반 오직 RGB 인식이 반사성, 투명성 또는 얇은 구조를 가진 물체를 포함한 도전적인 실세계 작업에서 깊이 센서에 의존하는 방법보다 뛰어나게 성능을 낼 수 있는가?
• RQ5 NeRF 기반의 새로운 시점 합성과 기능 예측의 통합이 로봇 조작에서 샘플 효율성과 일반화를 어떻게 향상시키는가?

주요 결과

• MIRA는 오직 10개의 실세계 RGB 시범 예제로 금속 공을 컵에 놓는 작업에서 80%의 성공률을 달성했으며, 새로운 컵 구성과 자세에 대해 일반화했다.
• 프레스팅 흐름의 경우 60%의 성공률, 금속 큐브 포장 작업에서는 70%의 성공률을 기록하여 깊이 센서에 취약한 얇고 탄성 있는 반사 물체에 대해 뛰어난 내구성을 입증했다.
• 깊이 센서를 사용하지 않음에도 불구하고, 6-자유도 재배치를 위한 확장된 Ravens 벤치마크에서 최신 기술을 능가했다.
• 정규화된 광선 캐스팅은 투시 광선 캐스팅과 달리 훈련 중 로봇 팔의 가림을 제거했으며, 후자는 팔을 촬영하여 참값 레이블을 손상시켰다.
• 시스템은 새로운 평면 외의 자세에 대해 일반화했으며, 상단 시점이나 2D 평면 동작을 넘어서 3차원 재정렬이 필요한 동작도 가능하게 했다.
• 실패 사례는 주로 NeRF의 깊이 정확도 부족(예: 공백 슬롯에서의 오류)이나 잘못된 픽업 지점 예측에서 기인했으며, 이는 3차원 재구성 및 정책 일반화의 한계를 시사한다.