[논문 리뷰] Disentangled Relational Representations for Explaining and Learning from Demonstration

Yordan Hristov, Daniel Angelov외 3명|arXiv (Cornell University)|2019. 07. 31.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 변분 오토에인코더에 보조 손실을 추가하여 고차원 센서 데이터에 추상적인 공간 개념(예: '왼쪽에', '위에')를 정착시키는 분리 가능한 관계 표현 학습 프레임워크를 제안한다. 분리 가능성과 인간의 일반 지식 개념과의 일치를 최적화함으로써, 이 방법은 시각적 지시와 함께 기계 학습된 기반의 기계적 계획 수립과 정확한 종단 효과기 자세 예측을 가능하게 하여, 사진처럼 사실적인 환경과 실제 로봇 조작 작업에서 뛰어난 성능을 보여준다.

ABSTRACT

Learning from demonstration is an effective method for human users to instruct desired robot behaviour. However, for most non-trivial tasks of practical interest, efficient learning from demonstration depends crucially on inductive bias in the chosen structure for rewards/costs and policies. We address the case where this inductive bias comes from an exchange with a human user. We propose a method in which a learning agent utilizes the information bottleneck layer of a high-parameter variational neural model, with auxiliary loss terms, in order to ground abstract concepts such as spatial relations. The concepts are referred to in natural language instructions and are manifested in the high-dimensional sensory input stream the agent receives from the world. We evaluate the properties of the latent space of the learned model in a photorealistic synthetic environment and particularly focus on examining its usability for downstream tasks. Additionally, through a series of controlled table-top manipulation experiments, we demonstrate that the learned manifold can be used to ground demonstrations as symbolic plans, which can then be executed on a PR2 robot.

연구 동기 및 목표

• 로봇이 인간이 제공한 지시와 자연어 지시를 사용하여 공간 관계를 학습하고 추론할 수 있도록 하는 것.
• 추상적인 언어 기호(예: '왼쪽에', '위에')를 저수준 센서 관측치에 정착시키기 위한 도전 과제를 해결하는 것.
• 인간이 이해할 수 있는 잠재 공간을 만들고, 기계적 계획 추론 및 동작 실행과 같은 후속 로봇 작업에 유용하게 사용할 수 있도록 하는 것.
• 합성 환경과 실제 세계 설정에서 프레임워크를 평가하여, 가림막과 작업 간 일반화에 대한 강건성을 입증하는 것.

제안 방법

• 고차원 시각 관측치를 저차원 해석 가능한 다양체로 매핑하기 위해 분리 가능한 잠재 공간을 갖춘 딥 변분 오토에인코더를 사용한다.
• 재구성 손실과 관계 대비 손실을 도입하여, 입력 정보를 유지하고 공간 관계의 분리 가능성을 강제한다(예: 왼쪽/오른쪽, 앞/뒤).
• 객체 레이블과 관계 개념을 예측하기 위해 별도의 분류기 헤드를 활용하여, 분리 가능성이 인간이 이해할 수 있는 공간 관계에 대해 명시적으로 최적화되도록 한다.
• 시간 클러스터링 기반의 계획 분할 모듈을 사용하여 제3자 시점의 지시에서 기호적 계획을 추론한다.
• 추론된 기호적 계획을 회귀 헤드를 통해 종단 효과기 자세로 매핑하여 PR2 로봇에서 실행 가능하게 한다.
• 사진처럼 사실적인 합성 환경(블록 월드)에서 학습하고, PR2 로봇의 실제 원격 조작 데이터를 통해 미세조정한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 원시 센서 입력과 약한 인간 레이블을 기반으로 분리 가능하고 인간이 이해할 수 있는 물체 간 공간 관계 표현을 학습할 수 있는가?
• RQ2 학습된 잠재 공간이 비정형 지시에서 기호적 계획 추론을 얼마나 잘 지원하는가?
• RQ3 기반화된 기호적 계획이 로봇 작업 실행을 위한 정확한 종단 효과기 궤적 예측에 얼마나 잘 활용될 수 있는가?
• RQ4 보조 손실을 통한 분리 가능성 강제가 기계 계획 분할 및 자세 예측과 같은 후속 작업의 강건성과 정확도를 향상시키는가?

주요 결과

• 재구성 손실과 관계 대비 손실을 모두 포함한 모델은 계획 분할에서 최고 성능을 기록했으며, 반복 지시에서는 100% 정확도, 연결 지시에서는 90% 정확도를 달성했다.
• 학습된 잠재 공간을 통해 관측된 지시 수가 많아질수록 지상 진실과 유사한 편집 거리로 기호적 계획을 신뢰성 있게 추론할 수 있었으며, 특히 다단계 작업에서 두드러졌다.
• 추론된 기호적 계획을 사용하여 종단 효과기 자세를 예측했을 때 평균 절대 오차가 매우 낮았다: '위에 놓기' 작업은 0.04m, '컵을 향해 보기' 작업은 0.05m, '안에 놓기' 작업은 0.03m였다.
• 모델은 작업에 특화된 자세 회귀를 학습하여, 작업 성공에 관련된 축(예: 놓기 작업의 X/Y/Z, 자세 조절 작업의 Roll/Pitch)에서 오차가 더 낮았다.
• 분리 가능한 표현은 상호 배타적인 공간 관계(예: 왼쪽/오른쪽 대비 앞/뒤)를 성공적으로 포착했으며, 인간의 일반 지식과 일치했다.
• 가림막이 있는 상황에서도 새로운 지시에 일반화할 수 있었으며, 이는 분리 가능한 잠재 공간의 강건성 덕분이었다.