[논문 리뷰] Bootstrapping Robotic Ecological Perception from a Limited Set of Hypotheses Through Interactive Perception

Léni K. Le Goff, Ghanim Mukhtar외 2명|arXiv (Cornell University)|2019. 01. 30.

Visual Attention and Saliency Detection참고 문헌 48인용 수 3

한 줄 요약

이 논문은 구조가 정의되지 않은 환경에서 장면의 이동 가능한 부분을 사전에 장면 구조에 대한 가정 없이 식별할 수 있도록 하는 상호작용 기반 인지 프레임워크를 제안한다. 온라인으로 학습하는 공동 혼합 모델 분류기와 불확실성 기반 탐색을 통해 로봇은 유의미한 상호작용 영역을 나타내는 유의미성 지도를 구축하며, 시뮬레이션과 PR2 로봇을 통해 복잡한 시나리오에서 안정적인 성능을 입증하였다.

ABSTRACT

To solve its task, a robot needs to have the ability to interpret its perceptions. In vision, this interpretation is particularly difficult and relies on the understanding of the structure of the scene, at least to the extent of its task and sensorimotor abilities. A robot with the ability to build and adapt this interpretation process according to its own tasks and capabilities would push away the limits of what robots can achieve in a non controlled environment. A solution is to provide the robot with processes to build such representations that are not specific to an environment or a situation. A lot of works focus on objects segmentation, recognition and manipulation. Defining an object solely on the basis of its visual appearance is challenging given the wide range of possible objects and environments. Therefore, current works make simplifying assumptions about the structure of a scene. Such assumptions reduce the adaptivity of the object extraction process to the environments in which the assumption holds. To limit such assumptions, we introduce an exploration method aimed at identifying moveable elements in a scene without considering the concept of object. By using the interactive perception framework, we aim at bootstrapping the acquisition process of a representation of the environment with a minimum of context specific assumptions. The robotic system builds a perceptual map called relevance map which indicates the moveable parts of the current scene. A classifier is trained online to predict the category of each region (moveable or non-moveable). It is also used to select a region with which to interact, with the goal of minimizing the uncertainty of the classification. A specific classifier is introduced to fit these needs: the collaborative mixture models classifier. The method is tested on a set of scenarios of increasing complexity, using both simulations and a PR2 robot.

연구 동기 및 목표

• 테이블 위 가정과 같은 사전 정의된 장면 가정에 의존도를 최소화하여 비정형 환경에서의 로봇 인지 문제를 해결한다.
• 사전에 분할된 물체 가정에 의존하지 않고, 물리적 상호작용을 통해 장면의 어떤 부분이 상호작용 가능(예: 이동 가능한)한지 자율적으로 학습할 수 있도록 한다.
• 로봇의 센서모터 능력과 작업 맥락에 적응하는 인지 시스템을 개발하여 물체 형태나 레이아웃에 대한 인간이 수작업으로 설정한 가정을 피한다.
• 밀도가 높은 일반 목적의 인지 지도인 유의미성 지도를 구축하여, 밀고 치는 등의 조작 동작을 유도할 가능성이 높은 영역을 식별한다.
• 상호작용을 통해 점차 개선되는 온라인 및 점진적인 분류기 학습을 가능하게 하여 불확실성을 줄이고 클래스 표현 균형을 유지한다.

제안 방법

• 로봇은 환경의 선택된 영역에 푸시 프리미티브를 사용하여 상호작용하며, 동작 전후의 시각적 관측을 비교하여 장면이 변화하는지 확인한다.
• 변화 감지 알고리즘은 전후 관측을 비교하여 영역이 이동 가능한지 여부를 판단한다.
• 공동 혼합 모델(CMM) 분류기는 상호작용 데이터를 기반으로 온라인으로 학습되며, 비선형적으로 분리되지 않은 데이터를 처리하고 분류 불확실성을 추정하는 데 중점을 둔다.
• 불확실성 기반 샘플링 전략은 분류기가 가장 불확실한 영역을 우선적으로 선택하여 학습 효율성을 높인다.
• 분류기는 점진적으로 학습되어 새로운 환경에 적응하기 위해 다시 시작부터 학습할 필요 없이 조정이 가능하다.
• 분류기의 출력에서 유의미성 지도가 계산되며, 이는 각 이미지 영역이 이동 가능한 확률을 나타내어 향후 탐색을 안내한다.

실험 결과

연구 질문

• RQ1 로봇은 테이블 위나 물체 프리미티브와 같은 장면 특화 가정에 의존하지 않고도 장면의 이동 가능한 부분을 식별할 수 있는가?
• RQ2 상호작용 기반 인지가 로봇의 자체 센서모터 능력과 작업 목표를 반영하는 인지 지도를 어떻게 부트스트랩할 수 있는가?
• RQ3 실세계 로봇 환경에서 효과적인 온라인 학습과 불확실성 추정, 최소한의 하이퍼파라미터 튜닝을 가능하게 하는 분류기 아키텍처는 무엇인가?
• RQ4 불확실성 기반 탐색은 복잡한 시각적 장면에서 높은 분류 정확도를 달성하기 위해 필요한 상호작용 횟수를 얼마나 줄일 수 있는가?
• RQ5 시스템이 생성한 유의미성 지도는 물체 탐지나 조작 계획과 같은 후속 작업을 어떻게 지원하는가?

주요 결과

• 공동 혼합 모델(CMM) 분류기는 비선형적으로 분리되지 않은 데이터를 효과적으로 처리하며 신뢰할 수 있는 불확실성 추정을 제공하여 효과적인 능동 학습을 가능하게 한다.
• 불확실성 기반 샘플링 전략은 모호한 영역에 집중함으로써 높은 분류 정확도를 달성하기 위해 필요한 상호작용 횟수를 크게 줄였다.
• 이 방법은 시뮬레이션과 실제 환경(이동 가능한 공, 벽돌, 복잡한 혼잡한 장면 포함)을 아우르는 다양한 환경에서 일반화 성능을 보였다.
• 유의미성 지도는 이동 가능한 영역을 효과적으로 식별하였으며, 특징 공간의 복잡성과 색상 기술자의 변화에 대해 안정적인 성능을 보였다.
• 사전 정의된 장면 가정에 대한 의존도를 줄여 새로운 환경에 재학습 없이도 재구성 없이 적응 가능하게 하였다.
• PR2 로봇을 대상으로 한 실험을 통해 이 프레임워크가 실제 환경에서 실현 가능하고 안정적인 성능을 보였으며, 다양한 시험과 증가하는 시나리오 복잡도에서도 안정적인 성능을 유지하였다.