[논문 리뷰] Transfer of Tool Affordance and Manipulation Cues with 3D Vision Data

Paulo Abelha, Frank Guérin|arXiv (Cornell University)|2017. 10. 13.

Robot Manipulation and Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 3D 시각 데이터를 사용하여 작업에 맞는 목표를 후보 도구에 투영함으로써 도구의 기능성과 조작 지시를 전달하는 작업 중심 시스템을 제안한다. 이는 로봇이 효과적인 대체 도구와 최적의 잡기/사용 구성 방식을 식별하도록 돕는다. 이 방법은 도구 성질의 학습된 전이를 통해 상향식 작업 기능과 하향식 기하적 특징 분석을 통합함으로써 기존 연구를 크게 능가하는 91%의 정확도를 달성한다.

ABSTRACT

Future service robots working in human environments, such as kitchens, will face situations where they need to improvise. The usual tool for a given task might not be available and the robot will have to use some substitute tool. The robot needs to select an appropriate alternative tool from the candidates available, and also needs to know where to grasp it, how to orient it and what part to use as the end-effector. We present a system which takes as input a candidate tool's point cloud and weight, and outputs a score for how effective that tool is for a task, and how to use it. Our key novelty is in taking a task-driven approach, where the task exerts a top-down influence on how low level vision data is interpreted. This facilitates the type of 'everyday creativity' where an object such as a wine bottle could be used as a rolling pin, because the interpretation of the object is not fixed in advance, but rather results from the interaction between the bottom-up and top-down pressures at run-time. The top-down influence is implemented by transfer: prior knowledge of geometric features that make a tool good for a task is used to seek similar features in a candidate tool. The prior knowledge is learned by simulating Web models performing the tasks. We evaluate on a set of fifty household objects and five tasks. We compare our system with the closest one in the literature and show that we achieve significantly better results

연구 동기 및 목표

• 표준 도구가 이용 가능하지 않을 때 인간 환경에서 서비스 로봇이 도구 사용을 창의적으로 수행할 수 있도록 유도하기.
• 상위 클래스 변동성과 이종 클래스 간 도구 전이 문제를 해결하기 위해 상향식 작업 목표와 하향식 3D 시각적 특징을 융합함.
• 후보 도구의 작업 적합도를 평가하고 그에 따른 잡기 및 방향 전략을 제안하는 유연하고 실시간 시스템을 개발하기.
• 순수하게 하향식 접근 방식의 기능성 인식 한계를 극복하기 위해 '투영'을 통한 작업 중심의 해석을 도입하기.
• 실세계의 가정용 물체와 작업에 대해 시스템을 평가하여 기존 방법보다 뛰어난 성능을 입증하기.

제안 방법

• 시스템은 후보 도구의 3D 포인트 클라우드와 무게 데이터를 입력으로 받아 평평한 표면, 모서리, 오목한 형태와 같은 기하학적 특징을 계산한다.
• 작업에 특화된 목표(예: 굴리기, 들어 올리기)를 도구의 특징에 투영하는 '투영' 기법을 적용하여 어떤 부분이 잡기나 행동 지점으로 기능할 수 있는지 해석한다.
• 모의 웹 모델이 작업을 수행하는 것을 기반으로 한 작업 기능을 학습하여, 데이터에 대한 적합성과 작업 관련성 양측 모두를 고려해 최적의 후보를 선택한다.
• 도구 기하학적 형상에 대한 적합도 점수와 도구가 작업을 지원하는 데 얼마나 효과적인지에 대한 작업 기능 값의 균형을 맞춰 최종 효과성 점수를 계산한다.
• 다양한 잡기 및 방향 설정에 대한 검색을 수행하고, 주어진 작업에 대해 가장 높은 점수를 기록한 것을 선택한다.
• 제거 분석 결과, 적합도와 작업 기능 구성 요소가 모두 필수적이며, 최적의 균형을 이룰 경우 91%의 정확도를 기록함을 확인했다.

실험 결과

연구 질문

• RQ1 표준 도구가 이용 가능하지 않을 때 로봇이 효과적인 대체 도구를 어떻게 식별할 수 있는가?
• RQ2 상향식 작업 목표가 하향식 3D 시각적 특징의 해석을 얼마나 잘 이끌 수 있는가?
• RQ3 학습된 작업 기능이 실세계 상황에서 적합한 도구와 조작 전략의 선택에 어떻게 기여할 수 있는가?
• RQ4 기하학적 적합도와 작업 관련성의 통합이 도구 대체 작업에서 성능에 어떤 영향을 미치는가?
• RQ5 적합도와 작업 기능 구성 요소의 균형 조절이 전체 시스템 정확도에 어떤 영향을 미치는가?

주요 결과

• 시스템은 효과적인 대체 도구 선택에 대해 91%의 성공률을 달성하였으며, 가장 가까운 베이스라인 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 제거 분석 결과, 적합도 점수와 작업 기능 값의 균형 조절이 최적의 성능을 이끌어내며, 균형이 맞춰지지 않은 경우 85%에 그치는 등 91%의 정확도를 기록함을 확인했다.
• 작업 중심의 '투영' 통합 덕분에 효과적인 이종 클래스 간 도구 전이가 가능해졌으며, 예를 들어 와인병을 굴리개로 사용하는 것과 같은 사례에서 성공했다.
• 이 방법은 기존의 정의된 카테고리가 아닌 功能 유사성에 기반해 새로운 도구 형태를 해석함으로써 내부 클래스 변동성을 효과적으로 다룰 수 있었다.
• 학습된 작업 기능은 다양한 가능한 해석 중에서 최적의 선택을 유도하는 데 핵심적인 역할을 했다.
• 상향식 작업 목표와 하향식 3D 특징 분석의 융합이 비제약 환경에서 견고하고 실시간적인 도구 대체를 가능하게 한다는 점을 입증했다.