[논문 리뷰] O2O-Afford: Annotation-Free Large-Scale Object-Object Affordance Learning

Kaichun Mo, Yuzhe Qin외 3명|arXiv (Cornell University)|2021. 06. 29.

Robot Manipulation and Learning참고 문헌 53인용 수 13

한 줄 요약

이 논문은 물리 시뮬레이션과 새로운 오브제트 커널 포인트 컨볼루션 네트워크를 사용하여 인간의 애너테이션 없이 대규모로 오브제트-오브제 액티브니스를 학습하는 O2O-Afford라는 프레임워크를 제안한다. 1,785개의 3D 형태에서 네 가지 작업—배치, 맞춤, 밀기, 쌓기—에 대한 상호작용을 시뮬레이션함으로써 인간의 애너테이션 없이도 포인트별 액티브니스 히트맵을 생성하며, 새로운 형태와 실제 세계 데이터에 대해 강력한 일반화 성능을 보이며 쌓기 작업에서 최대 F-스코어 91.7%를 달성한다.

ABSTRACT

Contrary to the vast literature in modeling, perceiving, and understanding agent-object (e.g., human-object, hand-object, robot-object) interaction in computer vision and robotics, very few past works have studied the task of object-object interaction, which also plays an important role in robotic manipulation and planning tasks. There is a rich space of object-object interaction scenarios in our daily life, such as placing an object on a messy tabletop, fitting an object inside a drawer, pushing an object using a tool, etc. In this paper, we propose a unified affordance learning framework to learn object-object interaction for various tasks. By constructing four object-object interaction task environments using physical simulation (SAPIEN) and thousands of ShapeNet models with rich geometric diversity, we are able to conduct large-scale object-object affordance learning without the need for human annotations or demonstrations. At the core of technical contribution, we propose an object-kernel point convolution network to reason about detailed interaction between two objects. Experiments on large-scale synthetic data and real-world data prove the effectiveness of the proposed approach. Please refer to the project webpage for code, data, video, and more materials: https://cs.stanford.edu/~kaichun/o2oafford

연구 동기 및 목표

• 로봇공학 및 컴퓨터 비전 분야에서 아직 탐색이 부족한 오브제트-오브제 상호작용 액티브니스 학습 문제를 해결하기 위해.
• 물리 시뮬레이션과 합성 데이터를 사용하여 대규모로 애너테이션 없이 오브제트-오브제 액티브니스를 학습할 수 있도록 하기 위해.
• 배치, 맞춤, 밀기, 쌓기와 같은 다양한 오브제트-오브제 상호작용 작업을 하나의 포인트별 액티브니스 레이블링 프레임워크로 통합하기 위해.
• 새로운 형태, 알려지지 않은 오브제트 카테고리, 실제 세계 스캔에 대해 일반화할 수 있는 딥 러닝 모델을 개발하기 위해.
• 가능한 상호작용을 위한 기하학적 및 기능적 사전 지식을 코딩하여 로봇 계획의 탐색 공간을 줄이기 위해.

제안 방법

• 프레임워크는 SAPIEN 물리 시뮬레이터를 사용하여 18개 카테고리의 1,785개 ShapeNet 오브제트를 활용해 수천 개의 시뮬레이션된 오브제트-오브제 상호작용 에피소드를 생성한다.
• 각 장면의 포인트 클라우드 상의 각 점에 대해 작업 완료 가능성을 나타내는 확률 점수를 할당하는 포인트별 액티브니스 레이블링 작업을 정의한다.
• 새로운 오브제트 커널 포인트 컨볼루션 네트워크는 각 장면 포인트에 대해 작용 오브제트의 형태와 자세에 대한 주의를 기반으로 국소 기하학적 특징을 계산한다.
• 이 네트워크는 이진 교차 엔트로피 손실을 사용하여 합성 데이터에서 엔드 투 엔드로 훈련되며, 양성/음성 액티브니스 레이블을 위한 임계값 0.5를 사용한다.
• 이 방법은 ShapeNet의 기하학적 다양성과 충돌, 지지, 포함성과 같은 현실적인 물리적 제약 조건을 시뮬레이션하여 활용한다.
• 일반화 능력은 알려지지 않은 오브제트 카테고리와 iPad Pro 및 YCB 데이터셋의 실제 세계 3D 스캔으로의 제로샷 전이를 통해 평가된다.

실험 결과

연구 질문

• RQ1 인간의 애너테이션이나 시연 없이 대규모로 오브제트-오브제 액티브니스를 학습할 수 있는가?
• RQ2 통합된 딥 러닝 프레임워크가 배치, 맞춤, 밀기, 쌓기와 같은 다양한 오브제트-오브제 상호작용 작업에 일반화할 수 있는가?
• RQ3 합성 시뮬레이션에서 훈련된 모델이 노이즈와 부분적인 기하학적 구조를 가진 실제 세계 3D 스캔으로 얼마나 잘 전이되는가?
• RQ4 학습된 액티브니스 예측이 작용 오브제트의 크기와 방향에 얼마나 의존하는가?
• RQ5 단일 통합 표현에서 공간적 포함, 지지, 충돌 회피와 같은 기하학적 제약 조건을 어떻게 코딩할 수 있는가?

주요 결과

• 제안된 O2O-Afford 프레임워크는 모든 네 가지 작업에서 최신 기술 수준의 성능을 달성하며, 메인 평가에서 쌓기 작업에서 F-스코어 91.7%, 배치 작업에서 90.0%를 기록한다.
• 모델은 알려지지 않은 오브제트 카테고리로도 효과적으로 일반화되며, 제로샷 테스트 형태에서 쌓기 작업에서 F-스코어 89.6%, 배치 작업에서 82.2%를 기록한다.
• 제거 실험 결과 오브제트 커널 포인트 컨볼루션은 필수적임을 확인하였으며, 이를 제거하면 모든 작업에서 F-스코어가 6.0~8.0%p 감소한다.
• 모델은 오브제트 크기와 방향에 민감하게 반응하며, 머그잔 크기가 서랍 용량을 초과할 경우 액티브니스 가능성 확률이 감소함을 정확히 예측한다.
• 합성 데이터에서만 훈련되었음에도 불구하고, 실제 세계 3D 스캔에 대해 의미 있고 실행 가능한 액티브니스 히트맵을 생성하였으며, 맞춤 작업에서 AP 점수 86.3%, 밀기 작업에서 46.9%를 기록한다.
• 프레임워크는 배치에 적합한 평탄한 표면이나 맞춤에 적합한 슬롯과 같은 타당한 상호작용 영역을 성공적으로 식별하며, 기존 오브제트와의 충돌을 피한다.