[논문 리뷰] Learning to Place Objects onto Flat Surfaces in Human-Preferred Orientations.

R. Newbury, Kerry He외 2명|arXiv (Cornell University)|2020. 04. 01.

Robot Manipulation and Learning참고 문헌 22인용 수 3

한 줄 요약

이 논문은 사람의 선호 방향으로 평평한 표면에 잡은 물체를 놓을 수 있도록 하는 이단계 심층학습 접근법을 제안한다. 이는 배치 기울기 컨볼루션 신경망(Placement Rotation CNN, PR-CNN)과 배치 안정성 컨볼루션 신경망(Placement Stability CNN, PS-CNN)을 사용한다. 방법은 반복적으로 물체의 회전을 예측하고 평가하며, 18종의 일상 물체에 대해 시뮬레이션에서 86.1%의 성공률을 달성한다. 실물 환경에서의 개념 증명을 통해 시뮬레이션에서 실물로의 전이가 성공적으로 이루어졌음을 입증한다.

ABSTRACT

We study the problem of placing a grasped object on an empty flat surface in a human-preferred orientation, such as placing a cup on its bottom rather than on its side. We aim to find the required object rotation such that when the gripper is opened after the object makes a contact with the surface, the object would be stably placed in the desired orientation. We use two neural networks in an iterative fashion. At every iteration, Placement Rotation CNN (PR-CNN) estimates the required object rotation which is executed by the robot, and then Placement Stability CNN (PS-CNN) estimates if the object would be stable if it is placed in its current orientation. In simulation experiments, our approach places objects in human-preferred orientations with a success rate of 86.1% using a dataset of 18 everyday objects. A real-world implementation is presented, which serves as a proof-of-concept for direct sim-to-real transfer. We observe that sometimes it is impossible to place a grasped object in a desired orientation without re-grasping, which motivates future research for grasping with intention to place objects.

연구 동기 및 목표

• 로봇이 사람의 선호 방향으로 평평한 표면에 잡은 물체를 놓을 수 있도록 하는 것, 예를 들어 컵을 뒷받침하는 방향으로 놓는 것.
• 그립이 놓여진 후 안정적인 놓기 위치를 확보하기 위해 적절한 물체의 회전을 결정하는 과제를 해결하는 것.
• 현재 그립 상태로부터 직접 최적의 놓기 방향을 예측함으로써 재그립을 방지하는 방법을 개발하는 것.
• 실제 로봇에 대한 직접적인 시뮬레이션에서 실물로의 전이를 가능하게 하는 것.

제안 방법

• 시스템은 PR-CNN이 놓기 위해 필요한 물체의 회전을 예측하는 반복적 과정을 사용한다.
• 회전 후, PS-CNN는 현재 방향으로 놓을 경우 물체가 안정적인지 평가한다.
• PR-CNN와 PS-CNN는 다양한 형태와 그립 자세를 가진 18종의 일상 물체로 구성된 시뮬레이션 데이터셋에서 훈련된다.
• 정책은 먼저 시뮬레이션에서 실행된 후, 최적화 없이 그대로 실제 로봇에 적용된다.
• 안정적이고 사람의 선호 방향이 되는 위치가 찾을 때까지 회전 예측과 안정성 평가를 번갈아가며 수행한다.
• 명시적인 기하학적 추론 없이도 현재 로봇 상태에서 최적의 놓기 동작으로 매핑하는 엔드 투 엔드 심층학습을 활용한다.

실험 결과

연구 질문

• RQ1 재그립 없이도 심층학습 모델이 사람의 선호 방향으로 놓기 위해 필요한 물체의 회전을 정확하게 예측할 수 있는가?
• RQ2 두 네트워크로 구성된 반복적 접근(회전 예측 + 안정성 예측)이 안정적이고 선호되는 물체 놓기 위치를 달성하는 데 얼마나 효과적인가?
• RQ3 시뮬레이션에서 훈련된 정책이 실물 로봇 조작에 얼마나 잘 전이될 수 있는가?
• RQ4 단일 그립 상태에서 원하는 방향으로 물체를 놓는 데서 발생하는 제약은 무엇이며, 언제 재그립이 필요할까?

주요 결과

• 제안된 방법은 18종의 일상 물체에 대해 시뮬레이션에서 사람의 선호 방향으로 물체를 놓는 데 86.1%의 성공률을 달성한다.
• 실물 환경에서의 구현은 직접적인 시뮬레이션에서 실물로의 전이를 성공적으로 입증하며, 이는 접근법의 강건성을 확인한다.
• 시스템은 단일 그립 상태에서 물체를 원하는 방향으로 놓는 것이 물리적으로 불가능한 경우를 식별하며, 이는 의도 인식 그립의 필요성을 부각시킨다.
• PR-CNN와 PS-CNN를 반복적으로 활용함으로써 물체-표면 상호작용의 명시적 기하학적 모델링 없이도 안정적인 놓기 결정을 내릴 수 있다.
• 결과는 사람의 선호 방향이 항상 단일 그립 상태에서 달성 가능한 것은 아니며, 향후 놓기 의도를 고려한 그립 기술 개발의 필요성을 시사한다.
• 이중-CNN 프레임워크는 회전 예측과 안정성 평가 간의 균형을 효과적으로 유지하여 복잡한 상황에서도 신뢰할 수 있는 놓기 결정을 가능하게 한다.