[논문 리뷰] Orientation Attentive Robotic Grasp Synthesis with Augmented Grasp Map Representation

Georgia Chalvatzaki, Nikolaos Gkanatsios외 2명|arXiv (Cornell University)|2020. 06. 09.

Robot Manipulation and Learning참고 문헌 51인용 수 10

한 줄 요약

이 논문은 깊이 이미지만을 사용하여 Jacquard 데이터셋에서 SOTA 94.71%의 성공률을 달성하며, 여러 방향으로의 효과적이고 실현 가능한 그립 계획을 가능하게 하는 새로운 방향 인식 그립 합성 프레임워크 ORANGE를 제안한다. 이는 증강된 그립 맵을 사용하여 각 픽셀에서 그립 방향을 이산적인 박스로 분리함으로써, 그립 예측의 정확도를 향상시키는 동시에 분류와 회귀를 동시에 수행한다.

ABSTRACT

Inherent morphological characteristics in objects may offer a wide range of plausible grasping orientations that obfuscates the visual learning of robotic grasping. Existing grasp generation approaches are cursed to construct discontinuous grasp maps by aggregating annotations for drastically different orientations per grasping point. Moreover, current methods generate grasp candidates across a single direction in the robot's viewpoint, ignoring its feasibility constraints. In this paper, we propose a novel augmented grasp map representation, suitable for pixel-wise synthesis, that locally disentangles grasping orientations by partitioning the angle space into multiple bins. Furthermore, we introduce the ORientation AtteNtive Grasp synthEsis (ORANGE) framework, that jointly addresses classification into orientation bins and angle-value regression. The bin-wise orientation maps further serve as an attention mechanism for areas with higher graspability, i.e. probability of being an actual grasp point. We report new state-of-the-art 94.71% performance on Jacquard, with a simple U-Net using only depth images, outperforming even multi-modal approaches. Subsequent qualitative results with a real bi-manual robot validate ORANGE's effectiveness in generating grasps for multiple orientations, hence allowing planning grasps that are feasible.

연구 동기 및 목표

• 로봇 그립에서 다수의 타당한 방향이 존재하는 경우 시각 기반 학습 모델이 혼동을 겪는 방향의 모호성 문제를 해결하기 위해.
• 극적으로 다른 방향에 걸쳐 애너테이션을 통합함으로써 발생하는 이산적인 그립 맵의 한계를 극복하기 위해.
• 그립 생성 시 로봇의 시야 및 워크스페이스 제약 조건을 고려하여 실현 가능한 그립 계획을 가능하게 하기 위해.
• 높은 그립 가능성이 있는 영역을 강조하는 방향 인식 어텐션 메커니즘을 도입하여 그립 품질 예측의 정확도를 향상시키기 위해.
• 아키텍처 변경 없이도 어떤 CNN 기반 그립 예측기라도 향상시킬 수 있는 모델에 종속되지 않는 프레임워크를 개발하기 위해.

제안 방법

• 논문은 360° 각도 공간을 이산적인 박스로 분할하는 증강된 그립 맵 표현 방식을 도입하여, 각 픽셀에서 그립 방향을 국소적으로 분리한다.
• 이러한 방식은 이산적 박스로 그립 방향을 분류하면서도, 각 박스에 대해 연속적인 각도 값을 회귀하는 통합 학습 과제로 설정된다.
• 박스 기반의 방향 맵은 그립 품질 맵에 대한 어텐션 메커니즘으로 기능하여, 모델이 높은 그립 가능성이 있는 영역에 집중하도록 이끈다.
• 프레임워크는 U-Net 기반 아키텍처에 구현되었으며, 어떤 CNN 기반 그립 예측 모델과도 호환된다.
• 손실 함수로는 분류에 대한 크로스 엔트로피와 각도 회귀에 대한 스무스 L1 손실을 조합하여, 깊이 이미지와 애너테이션된 그립 맵을 사용해 엔드 투 엔드로 학습된다.
• 로봇의 물리적 워크스페이스 내에서의 그립 후보를 선택함으로써 충돌 방지 및 실현 가능한 그립 계획이 가능하며, 이는 모바일 매니퓰레이터 로봇에서 검증되었다.

실험 결과

연구 질문

• RQ1 복잡한 형태를 가진 물체에서 그립 방향의 모호성이 효과적으로 모델링될 수 있는가? 이는 그립 예측의 정확도 향상에 기여하는가?
• RQ2 연속적인 회귀만을 사용하는 것과 비교해, 각도 공간의 이산적 분할이 그립 맵의 일반화 및 연속성 향상에 기여하는가?
• RQ3 방향 인식 어텐션 메커니즘이 픽셀 단위의 그립 합성에서 그립 품질 예측을 얼마나 향상시키는가?
• RQ4 깊이 이미지만을 사용하고 모델에 종속되지 않는 프레임워크가 벤치마크 그립 데이터셋에서 SOTA 성능을 달성할 수 있는가?
• RQ5 제안된 방법이 다양한 방향으로의 실세계 로봇 그립에 대해 얼마나 효과적인가?

주요 결과

• ORANGE는 깊이 이미지만을 사용하여 Jacquard 데이터셋에서 SOTA 94.71%의 성공률을 달성했으며, 다중 모odal 및 더 복잡한 방법들보다 뛰어난 성능을 보였다.
• 증강된 그립 맵 표현 방식은 각 그립 포인트에서 다수의 타당한 방향을 성공적으로 분리하여, 훈련 및 추론 시의 모호성을 감소시켰다.
• 방향 인식 어텐션 메커니즘은 높은 그립 가능성이 있는 영역에 집중함으로써 그립 품질 예측의 정확도를 향상시켰으며, 이는 정성적 및 정량적 결과로 입증되었다.
• TIAGo++ 로봇을 활용한 실세계 실험 결과, ORANGE는 다양한 방향에서의 그립을 성공적으로 수행하였으며, 그립퍼를 사용할 경우 84%의 성공률, 오성 손을 사용할 경우 60%의 성공률을 기록하였다.
• 로봇의 물리적 워크스페이스 내에서 효과적인 그립 계획이 가능했으며, 이는 이중 손 그립에 대한 오픈 루프 경로 실행이 성공적으로 수행된 것으로 입증되었다.
• 실험을 통해 카메라가 로봇에 장착된 경우에도 뷰포인트 변화에 대해 강건함을 입증하였으며, 이는 이전 연구에서의 정적 카메라 설정과 대비된다.