[논문 리뷰] Neural Task Programming: Learning to Generalize Across Hierarchical Tasks

Danfei Xu, Suraj Nair외 5명|arXiv (Cornell University)|2017. 10. 04.

Robot Manipulation and Learning참고 문헌 1인용 수 19

한 줄 요약

Neural Task Programming (NTP)는 작업 시범을 해석하고 이를 재사용 가능한 신경 하위정의로 반복적으로 분해함으로써 계층적 조작 작업 간의 일반화를 가능하게 하는 메타학습 프레임워크이다. NTP는 시뮬레이션 및 실제 로봇 환경에서 길이, 구조, 의미가 다른 새로운 작업에 대해 강력한 소수의 예시 일반화 성능을 보이며, 특히 시각 입력을 사용해 종단간(end-to-end)으로 훈련할 경우 두드러진 성능을 발휘한다.

ABSTRACT

In this work, we propose a novel robot learning framework called Neural Task Programming (NTP), which bridges the idea of few-shot learning from demonstration and neural program induction. NTP takes as input a task specification (e.g., video demonstration of a task) and recursively decomposes it into finer sub-task specifications. These specifications are fed to a hierarchical neural program, where bottom-level programs are callable subroutines that interact with the environment. We validate our method in three robot manipulation tasks. NTP achieves strong generalization across sequential tasks that exhibit hierarchal and compositional structures. The experimental results show that NTP learns to generalize well to- wards unseen tasks with increasing lengths, variable topologies, and changing objectives.

연구 동기 및 목표

• 다양한 목표와 초기 조건을 가진 복잡하고 계층적인 조작 작업 간에 로봇 정책의 일반화 문제를 해결하기 위해.
• 재사용 가능한 모듈식 신경 프로그램을 발견함으로써 단일 시범에서의 일회성 학습을 가능하게 하여 작업 변화에 일반화되는 정책을 구현하기 위해.
• 실행 가능한 하위정의로 작업을 계층적으로 분해함으로써 장기적인 결정 부문을 지원하기 위해.
• 정확한 상태 감독 없이도 시각 입력(예: 영상)에서 종단간 훈련을 가능하게 하기 위해.
• 다양한 작업 구조에서 실제 로봇 구현 환경에서의 강건성과 이식 가능성을 향상시키기 위해.

제안 방법

• NTP는 작업 시범(예: 영상 또는 궤적)을 계층적 프로그램 명세로 해석하고 하위 작업으로 반복적으로 분해한다.
• 하위정의에 해당하는 하위수준 프로그램은 실행 가능한 로봇 API 동작(예: pick_and_place)에 대응하는 계층적 신경 프로그램이 구성된다.
• 각 프로그램 호출은 현재 환경 관측값과 하위명세를 입력으로 받아 다음 하위정의와 하위작업 입력을 예측하며, 프로그램 종료 신호를 통해 실행을 종료한다.
• 모델은 장기적인 종속성을 지원하기 위해 내부 상태를 유지하는 순환 아키텍처(예: GRU)를 사용한다.
• 시각 입력의 경우, NTPVID (E2E)는 7층의 CNN을 통해 정책과 작업에 관련된 시각적 특징을 동시에 학습하며, NTPVID (Detector)는 사전 훈련된 객체 탐지기를 상태 전처리기로 사용한다.
• 서브정의 간 공유된 파라미터를 통해 작업 간 메타학습을 지원함으로써, 최소한의 데이터로 새로운 작업 인스턴스에 대한 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 프로그램 유도 프레임워크는 길이와 구조가 다른 새로운 계층적 작업에 일반화될 수 있는가?
• RQ2 NTP는 다양한 작업 목표에 대해 단일 시범에서 효과적인 소수의 예시 일반화를 달성할 수 있는가?
• RQ3 정확한 상태 감독 없이도 영상과 같은 시각 입력에서 종단간 훈련된 NTP는 얼마나 잘 작동하는가?
• RQ4 간헐적인 실패나 동적 변화와 같은 환경적 요란함에 대해 NTP는 강건성을 유지하는가?
• RQ5 물리적 상호작용 제약 조건이 존재하는 실제 로봇 시스템에 NTP를 성공적으로 이식할 수 있는가?

주요 결과

• 실제 Sawyer 로봇에서 20개의 새로운 블록 스태킹 작업에 대해 NTP는 90%의 성공률을 기록했으며, 알고리즘 오류로 인한 실패는 5%로 발생했고, 물리적 조작 문제로 인한 실패도 5%였다.
• 물체 정렬 작업에서 NTP는 10개의 새로운 실세계 평가에서 80%의 성공률을 기록했으며, 알고리즘 오류는 없었지만 조작 실패는 20%였다.
• 종단간 시각 모델인 NTPVID (E2E)는 부분적인 시각적 상태 정보만을 사용했음에도 불구하고, 사전 훈련된 탐지기를 사용하는 NTPVID (Detector)보다 뛰어난 성능을 보였다.
• 종단간 시각 모델(NTPVID (E2E))는 훈련된 작업 수가 적었음에도 불구하고(400–1000대비 1000), 성공률에서 탐지기 기반 파ip라인을 앞서며, 더 많은 컴퓨팅 자원(8개 GPU에서 10일)을 소비했다.
• 간헐적인 실패가 발생하는 악성 환경에서 GRU를 사용한 NTP는 성공률이 88.4%에서 42.2%로 떨어졌으며, 이는 동적 외란에 민감함을 시사했고, 표준 NTP는 더 강건한 성능 유지를 보였다.
• NTP는 빌레와 숟가락의 수가 다른 테이블 정리 작업에 효과적으로 일반화되었으며, 시뮬레이션에서 성공률는 55%에서 100% 사이를 유지했으며, 성능 저하의 원인은 충돌 체크 오류였고, 정책 오류는 아니었다.