[논문 리뷰] Kinematically-Informed Interactive Perception: Robot-Generated 3D Models for Classification

Abhishek Venkataraman, Brent Griffin외 1명|arXiv (Cornell University)|2019. 01. 17.

Robotics and Sensor-Based Localization참고 문헌 32인용 수 4

한 줄 요약

이 논문은 활동적 조작 중 로봇의 운동학 지식을 활용하여 RGBD 데이터에서 정확한 3D 볼록 모델을 생성하는 KIIP(Kinematically-Informed Interactive Perception) 프레임워크를 제안한다. 이는 혼잡한 환경에서 미지의 물체를 실시간으로 분류할 수 있도록 한다. 로봇 자세 데이터와 다중 시점 관측을 조합함으로써 KIIP는 가정용 물체에서 80%의 분류 정확도와 새로운 LEGO 구조물에서 60%의 정확도를 달성하여 실생활 로봇 응용 분야에서 효과적인 제로샷 및 피처샷 학습을 입증한다.

ABSTRACT

To be useful in everyday environments, robots must be able to observe and learn about objects. Recent datasets enable progress for classifying data into known object categories; however, it is unclear how to collect reliable object data when operating in cluttered, partially-observable environments. In this paper, we address the problem of building complete 3D models for real-world objects using a robot platform, which can remove objects from clutter for better classification. Furthermore, we are able to learn entirely new object categories as they are encountered, enabling the robot to classify previously unidentifiable objects during future interactions. We build models of grasped objects using simultaneous manipulation and observation, and we guide the processing of visual data using a kinematic description of the robot to combine observations from different view-points and remove background noise. To test our framework, we use a mobile manipulation robot equipped with an RGBD camera to build voxelized representations of unknown objects and then classify them into new categories. We then have the robot remove objects from clutter to manipulate, observe, and classify them in real-time.

연구 동기 및 목표

• 기존의 수동적 인식이 실패하는 혼잡하고 부분적으로 관측 가능한 실세계 환경에서 신뢰할 수 있는 3D 물체 모델링 및 분류의 과제를 해결한다.
• ModelNet40에 포함된 바이어스가 없는 기존 훈련 데이터셋에 존재하지 않는 새로운 물체 카테고리, 예를 들어 새로운 물체 카테고리를 학습하고 분류할 수 있도록 한다.
• 로봇의 운동학과 활동적 조작을 활용하여 다중 시점 관측과 자세 정보를 조합함으로써 3D 재구성 및 분류 성능을 향상시킨다.
• 모바일 조작 로봇이 RGBD 센서를 사용하여 농도 있는 혼잡 속에서 물체를 분리하고 관측하며 분류할 수 있는 실시간 실용적 프레임워크를 개발한다.
• 운동학적으로 정보를 얻은 시각 데이터 융합이 수동적 또는 비운동학적으로 안내되지 않은 방법보다 분류 성능을 향상시킨다는 것을 입증한다.

제안 방법

• RGBD 카메라를 장착한 모바일 조작 로봇(HSR)을 사용하여 잡은 물체의 동시에 조작 및 관측을 수행한다.
• 관절 인코더에서 얻은 운동학 정보를 활용하여 다수의 2.5D 포인트 클라우드 관측치를 정렬하고 융합하여 단일 3D 볼록 격자 표현으로 만든다.
• 물체를 회전시키고 재배치하는 동안 다수의 시점에서의 점유 격자들을 합산하여 KIIP 기반 3D 모델을 구축한다.
• 기존의 또는 새로 학습된 카테고리로 물체를 분류하기 위해 KIIP로 생성된 3D 모델에 얕은 3D 컨volution 신경망(CNN)을 훈련시킨다.
• 두 단계 훈련 방식을 구현: 먼저 ModelNet40에서 사전 훈련하고, 이후 로봇이 수집한 KIIP 데이터로 미리 정의되지 않은 물체 카테고리에 대해 미세 조정한다.
• 혼잡한 환경에서 실시간으로 물체를 제거한 후 KIIP 기반 관측 및 분류를 수행하여 비정형 환경에서의 상호작용 학습을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 활동적 조작과 시각 센싱을 통해 혼잡하고 부분적으로 관측 가능한 환경에서 로봇이 신뢰할 수 있는 3D 물체 모델을 생성할 수 있는가?
• RQ2 다중 시점 관측치의 운동학적으로 정보를 얻은 융합이 3D 재구성 및 물체 분류 정확도 향상에 얼마나 효과적인가?
• RQ3 자기 생성한 KIIP 데이터를 사용하여 사전 훈련 기간 동안 보이지 않은 새로운 물체 카테고리를 학습하고 분류할 수 있는가?
• RQ4 KIIP 기반 분류 성능는 수동적 인식 또는 비운동학적으로 안내되지 않은 활동적 인식과 비교해 어떻게 되는가?
• RQ5 LEGO 구조물과 같은 새로운, 비표준 물체에 대해 KIIP 캐치 수가 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• KIIP 프레임워크는 기존의 훈련 데이터셋에 포함되지 않은 물체를 분류하기 위해 단지 로봇이 수집한 KIIP 데이터로만 훈련된 네트워크를 사용하여 가정용 물체에서 80%의 분류 정확도를 달성하여 자기지도 학습 기반 3D 물체 학습의 가능성을 입증했다.
• 새로운 LEGO 구조물에 대해 OL-E2E 네트워크는 모든 훈련 설정에서 총 60%의 분류 정확도를 기록했으며, 강건성과 속도 면에서 다른 네트워크를 능가했다.
• OL-E2E 네트워크는 단일 GPU에서 14초의 훈련 시간만으로도 테스트된 모델들 중 가장 빠르고 효율적인 것으로 나타났다.
• KIIP 데이터로 훈련된 FG-OL 및 OL-E2E 네트워크는 단지 ModelNet40 데이터로만 훈련된 FG 네트워크보다 신규 LEGO 물체에서 유의미하게 높은 성능을 보였으며, 소수의 샘플로 학습하는 데 있어 로봇이 생성한 데이터의 가치를 입증했다.
• 로봇은 물체를 하나씩 제거하고 KIIP를 통해 관측한 후 새로운 학습된 카테고리에 할당함으로써 농도 있는 혼잡 속에서 미지의 물체를 성공적으로 분류했다.
• 운동학 정보의 사용은 특징 매칭이나 복잡한 3D 정렬 기법에 의존하지 않고도 2.5D 포인트 클라우드의 정확한 정렬과 융합을 가능하게 하여 인식 파이프라인을 단순화시켰다.