[논문 리뷰] AI Meets Physical World -- Exploring Robot Cooking

Yu Sun|arXiv (Cornell University)|2018. 04. 21.

Robot Manipulation and Learning참고 문헌 19인용 수 7

한 줄 요약

이 논문은 로봇 조리에 대한 혁신적인 프레임워크를 제안하여, 온라인 지침 영상을 시청함으로써 조작 기술을 학습할 수 있도록 한다. 기능적 객체 지향 네트워크(FOON)와 딥 러닝을 활용해 로봇은 작업을 해석하고, 행동 중인 물체를 식별하며, 물리적 상호작용을 위한 적응형 운동 궤적과 견고한 잡기 전략을 생성한다. 이는 변동성이 큰 주방 환경에서 성능을 크게 향상시킨다.

ABSTRACT

This paper describes our recent research effort to bring the computer intelligence into the physical world so that robots could perform physically interactive manipulation tasks. Our proposed approach first gives robots the ability to learn manipulation skills by "watching" online instructional videos. After "watching" over 200 instructional videos, a functional object-oriented network (FOON) is constructed to represent the observed manipulation skills. Using the network, robots can take a high-level task command such as "I want BBQ Ribs for dinner," decipher the task goal, seek the correct objects to operate on, and then generate and execute a sequence of manipulation motions that can deal with physical interactions in a new condition. To best facilitate manipulation motions in the physical world, we also developed new grasping strategies for robots to hold objects with a firm grasp to withstand the disturbance during physical interactions.

연구 동기 및 목표

• 구조화되지 않은 온라인 지침 영상에서 작업 전용 프로그래밍 없이도 복잡한 조작 기술을 학습할 수 있도록 로봇을 가능하게 한다.
• 높은 정밀도와 힘 감도로 인해 작은 불확실성도 실패로 이어지는 물리적 상호작용 과제에 도전한다.
• 작업 분해 및 계획을 위해 물체, 도구, 행동 간의 기능적 관계를 포괄하는 지식 표현 체계(FOON)를 개발한다.
• 倒기, 자르기, 저으름과 같은 동적 물리적 상호작용을 지원하는 견고한, 작업에 특화된 잡기 전략을 개발한다.
• 지각, 지식 추론, 운동 생성, 잡기 최적화를 통합한 단일 프레임워크를 통해 종단 간 로봇 조리를 실현한다.

제안 방법

• 337개 이상의 요리 영상에서 유래한 지식을 융합하여 기능적 단위, 물체 간 관계, 운동 순서를 표현하는 기능적 객체 지향 네트워크(FOON)를 구축한다.
• 객체 검출 및 국소화를 위한 컨volution 신경망(CNNs)과 운동 인식 및 사건 추론을 위한 순환 신경망(RNNs)을 활용한 네 단계 영상 이해 파이프라인을 구현한다.
• 신뢰도 가중 객체-행위 검출 및 그래프 기반 융합을 통해 영상 스트림에서의 사고 및 작업 인식 정확도를 향상시킨다.
• 힘과 운동 데이터로 훈련된 딥 러닝 순환 신경망을 사용해 조작 운동을 생성함으로써, 적응형倒기 및 기타 물리적 상호작용을 가능하게 한다.
• 작업의 기능성에서 유도된 상호작용 토크 및 운동 요구 조건을 기반으로 하드웨어에 종속되지 않는 잡기 품질 측정 기준을 개발하여 최적의 잡기 합성 가능하게 한다.
• 사전 인간의 시연 데이터(예: 잡기 유형, 엄지 위치)를 활용해 구성 공간을 축소하고, 더 효율적이고 견고한 최적의 잡기로의 수렴을 가속화한다.

실험 결과

연구 질문

• RQ1 로봇은 비정형적인 온라인 요리 영상에서 기능적 조작 지식을 자동으로 추출할 수 있는가?
• RQ2 FOON과 같은 통합 지식 표현 체계는 새로운 환경에서 작업 분해, 물체 식별, 운동 계획을 어떻게 지원하는가?
• RQ3 운동 생성 모델은倒기, 자르기, 저으름과 같은 물리적 상호작용 과제를 위해 견고하고 적응 가능한 행동을 어떻게 학습하는가?
• RQ4 로봇이 동적 도구 상호작용 중 안정성과 힘 제어를 유지하기 위해 어떤 잡기 품질 측정 기준과 최적화 전략이 필요한가?
• RQ5 학습된 지식과 운동 정책은 실시간으로 적응 가능한 제어 프레임워크에 어떻게 통합되어 실세계의 로봇 조리를 가능하게 하는가?

주요 결과

• FOON 프레임워크는 사고 인식에서 양호한 정확도를 달성했으며, 운동 인식과 융합함으로써 의미적 영상 이해에서 성능 향상을 보였다. 이는 그 효과성을 입증한다.
• 행위 중인 물체 검출은 기능적 단위 인식에 상당한 영향을 미쳤으며, 이는 정확한 물체 역할 식별이 작업 이해에 핵심적임을 시사한다.
• 倒기 운동 생성을 위한 딥 러닝 순환 신경망은 힘 피드백과 컵 매개변수를 기반으로 각속도를 성공적으로 예측하여, 다양한 조건에서도 안정적인倒기 구현을 가능하게 하였다.
• 제안된 잡기 품질 측정 기준은 시뮬레이션에서 전통적인 힘 폐쇄 기반 잡기보다 우수한 안정성과 힘 전달 성능을 보였다.
• 인간의 시연에서 유도된 잡기 전략(예: 잡기 유형, 엄지 위치)을 활용한 최적화로 검색 공간이 축소되었고, 최적의 잡기로의 수렴 속도가 향상되었다.
• 초기 결과로, FOON, 운동 생성, 잡기 최적화를 통합함으로써 로봇이 '저녁에 바비큐 립을 원해'와 같은 고수준 명령어를 해석하고 복잡하고 적응형 조작 시퀀스를 실행할 수 있음을 보였다.