[논문 리뷰] Learning Neuro-symbolic Programs for Language Guided Robot Manipulation

Namasivayam Kalithasan, Himanshu Singh외 6명|arXiv (Cornell University)|2022. 11. 12.

Multimodal Machine Learning Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 자연어 지시와 장면 이미지를 기반으로 실행 가능한 로봇 조작 프로그램을 학습하는 신경-기호 프레임워크를 제안한다. 계층적 파서와 동작 시뮬레이터를 활용해 중간 단계 지도 없이 엔드 투 엔드 학습을 가능하게 하며, 자연어 및 시각 입력에 기반한 기호적 추론을 통해 분리된, 물체 중심의 표현을 학습함으로써 새로운 장면과 더 긴 수평선 작업에서 최신 기술 수준의 일반화 성능을 달성한다.

ABSTRACT

Given a natural language instruction and an input scene, our goal is to train a model to output a manipulation program that can be executed by the robot. Prior approaches for this task possess one of the following limitations: (i) rely on hand-coded symbols for concepts limiting generalization beyond those seen during training [1] (ii) infer action sequences from instructions but require dense sub-goal supervision [2] or (iii) lack semantics required for deeper object-centric reasoning inherent in interpreting complex instructions [3]. In contrast, our approach can handle linguistic as well as perceptual variations, end-to-end trainable and requires no intermediate supervision. The proposed model uses symbolic reasoning constructs that operate on a latent neural object-centric representation, allowing for deeper reasoning over the input scene. Central to our approach is a modular structure consisting of a hierarchical instruction parser and an action simulator to learn disentangled action representations. Our experiments on a simulated environment with a 7-DOF manipulator, consisting of instructions with varying number of steps and scenes with different number of objects, demonstrate that our model is robust to such variations and significantly outperforms baselines, particularly in the generalization settings. The code, dataset and experiment videos are available at https://nsrmp.github.io

연구 동기 및 목표

• 중간 단계 지도 없이 복잡하고 다단계적인 자연어 지시를 실행 가능한 로봇 조작 프로그램으로 정착시키는 도전 과제를 해결한다.
• 수동으로 코딩된 기호에 의존하거나 밀도 높은 보조 목표 애너테이션을 필요로 하거나, 공간적 및 관계적 개념에 대한 깊은 의미적 추론이 부족한 기존 방법의 한계를 극복한다.
• 더 많은 물체와 더 긴 지시 시퀀스를 포함한 새로운 장면에 대해 강력한 일반화 성능을 확보한다. 특히 조합적 제로샷 설정에서의 성능을 강조한다.
• 초기 및 최종 장면 상태만을 이용해 직접적인 거리 감독을 통해 동작과 공간 개념의 밀도 높은 분리된 표현을 학습한다.
• 신경적 인식과 동작 예측을 기호적 추론과 통합한 모듈러하고 엔드 투 엔드 학습이 가능한 아키텍처를 개발한다.

제안 방법

• 사전에 훈련된 물체 검출기와 특징 인코더를 갖춘 시각적 추출기로 입력 장면 이미지에서 고밀도의 물체 중심 표현을 생성한다.
• 도메인 전용 언어(DSL)를 사용해 공간적 및 동작 개념을 처리하는 계층적 언어 추론기를 구현하여, 지시문에서 자동으로 재귀적으로 기호 프로그램을 생성한다.
• 기호적이고 공간적인 추론을 적용해 예측된 프로그램에서 어떤 물체가 영향을 받는지 식별하는 시각적 추론기를 통합한다.
• 기호 프로그램과 시각적 상태를 기반으로 이동된 물체의 최종 3차원 위치를 예측하는 동작 시뮬레이터를 활용하며, 동작 및 시각 모듈를 통해 역전파된 손실을 적용한다.
• 정책 그래디언트 최적화를 사용해 REINFORCE를 통해 언어 추론기를 훈련하여, 미분 가능한 정책 학습을 가능하게 한다.
• 예측된 물체 위치에 대한 경계 상자 손실을 사용해 전체 모델을 엔드 투 엔드로 훈련하며, 초기 및 최종 세계 상태만으로도 지도를 제공한다.

실험 결과

연구 질문

• RQ1 신경-기호 모델은 보조 목표 지도 없이도 복잡하고 다단계적인 자연어 지시를 실행 가능한 조작 프로그램으로 정착시킬 수 있는가?
• RQ2 훈련 중에 본 바보다 더 많은 물체를 포함한 장면에 대해 모델의 일반화 성능는 어떠한가? 특히 조합적 제로샷 설정에서의 성능를 중심으로 분석한다.
• RQ3 짧은 지시(예: 2단계 계획)로 훈련된 후, 더 긴 수평선 지시(예: 7단계 작업)를 얼마나 잘 처리할 수 있는가?
• RQ4 초기 및 최종 장면 상태만으로도 엔드 투 엔드로 분리된 고밀도 동작 표현을 학습할 수 있는가?
• RQ5 물체 중심 표현에 기반한 기호적 추론은 언어 유도 조작에서 정확성과 견고성을 향상시키는가?

주요 결과

• 제안된 모델은 CLIPort와 NMN+와 같은 신경 기반 기준 모델보다 배치 및 식별 정확도에서 뚜렷한 우월성을 보이며, 특히 최대 10개의 물체를 포함한 장면에 대한 제로샷 일반화에서 두드러진 성능을 보인다.
• 5개 이상의 물체를 포함한 장면에서는 높은 정확도(일부 설정에서 90% 이상)를 유지하며, 물체 중심 표현과 모듈러 추론 덕분에 강력한 조합 일반화 능력을 입증한다.
• 모델은 더 긴 수평선 작업에 효과적으로 일반화된다. 2단계 계획으로만 훈련된 후 7단계 지시에서도 높은 정확도를 달성함으로써, 확장성과 구조적 추론 능력이 뛰어나다는 것을 입증한다.
• 동작 시뮬레이터는 물체 재구성에 대해 0.935의 구조적 유사성 지수-SSIM를 달성하여, 동작 이후의 물체 상태 예측 정밀도가 매우 높음을 시사한다.
• 관계적 지시(예: '빨간 큐브 오른쪽에 있는 초록 주사위 뒤에 블록을 놓기')와 같은 복잡한 지시에서도 기준 모델이 의미적 추론 능력이 부족해 실패하는 상황에서 모델은 우수한 성능을 보였다.
• 5배 더 많은 데이터로 훈련된 CLIPort-5x조차도 제안된 모델에 비해 성능이 열등하여, 순수 신경 기반 접근보다 신경-기호 및 분리된 아키텍처의 우수성을 확인한다.