[논문 리뷰] Modeling Long-horizon Tasks as Sequential Interaction Landscapes

Sören Pirk, Karol Hausman외 2명|arXiv (Cornell University)|2020. 01. 01.

Robot Manipulation and Learning인용 수 1

한 줄 요약

이 논문은 시각적 영상과 실시간 시각 관찰로부터 직접 행동 기호와 그 전이를 학습함으로써 장기 예측 로봇 조작 작업을 순차적 상호작용 지형도로 모델링하는 딥러닝 프레임워크를 제안한다. 이 방법은 로봇이 계획을 동적으로 예측하고 적응할 수 있게 하여, 블록 쌓기 및 7-DoF 조작과 같은 복잡한 작업에서 강건한 실행과 장애 복구를 달성한다.

ABSTRACT

Complex object manipulation tasks often span over long sequences of operations. Task planning over long-time horizons is a challenging and open problem in robotics, and its complexity grows exponentially with an increasing number of subtasks. In this paper we present a deep learning network that learns dependencies and transitions across subtasks solely from a set of demonstration videos. We represent each subtask as an action symbol (e.g. move cup), and show that these symbols can be learned and predicted directly from image observations. Learning from demonstrations and visual observations are two main pillars of our approach. The former makes the learning tractable as it provides the network with information about the most frequent transitions and relevant dependency between subtasks (instead of exploring all possible combination), while the latter allows the network to continuously monitor the task progress and thus to interactively adapt to changes in the environment. We evaluate our framework on two long horizon tasks: (1) block stacking of puzzle pieces being executed by humans, and (2) a robot manipulation task involving pick and place of objects and sliding a cabinet door with a 7-DoF robot arm. We show that complex plans can be carried out when executing the robotic task and the robot can interactively adapt to changes in the environment and recover from failure cases.

연구 동기 및 목표

• 로봇의 복잡한 장기 순서 조작 작업 계획 문제를 해결하기 위해 기하급수적으로 증가하는 복잡도에 대응한다.
• 모든 가능한 조합에 대한 포괄적 탐색 없이도 시범 영상에서 하위작업 간 의존성과 전이를 학습할 수 있도록 한다.
• 실시간 환경 모니터링을 위해 시각 관찰을 지속적으로 활용하여 실시간 적응과 장애 복구를 가능하게 한다.
• 장기 예측 작업 수행에서 시범 학습과 실시간 시각 피드백 간 격차를 메운다.

제안 방법

• 각 하위작업을 이미지 관찰에서 직접 학습한 행동 기호(예: '컵 옮기기')로 표현한다.
• 단지 시범 영상만을 지도로 사용하여 행동 기호의 순서를 예측할 수 있도록 딥러닝 네트워크를 훈련시킨다.
• 작업 진행 상황 모니터링과 계획된 순서에서의 이탈 탐지에 실시간 시각 관찰을 통합한다.
• 시범 전이와 시각 피드백의 조합을 통해 실행 중 상호작용적 적응을 가능하게 한다.
• 각 상태가 기호적 행동에 대응하고 전이가 데이터로부터 학습되는 순차적 상호작용 지형도로 작업을 모델링한다.
• 모방 학습을 활용하여 가능한 작업 계획의 탐색 공간을 줄여 장기 예측 계획 문제를 실현 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇은 단지 시범 영상만으로 장기 예측 조작 작업 계획을 어떻게 학습할 수 있는가?
• RQ2 시각 관찰은 작업 수행 중 실시간 적응을 위해 어떤 역할을 하는가?
• RQ3 학습된 기호적 행동 순서는 복잡한 조작 작업에서 강건한 실행과 장애 복구를 지원할 수 있는가?
• RQ4 하위작업 간 의존성은 어떻게 시범 데이터에서 유도되며 계획 수립에 어떤 영향을 미치는가?

주요 결과

• 프레임워크는 단지 영상 시범만을 사용하여 블록 쌓기 및 7-DoF 로봇 조작과 같은 복잡한 장기 예측 작업을 성공적으로 학습하고 실행했다.
• 작업 수행 중 시각 관찰을 지속적으로 모니터링함으로써 환경 변화에 대해 상호작용적 적응을 달성했다.
• 실세계 시나리오에서 장애 복구가 성공적으로 구현되어 시스템의 강인성을 입증했다.
• 모델는 시범 영상에서 하위작업 간 의존성과 전이 패턴을 효과적으로 포착하여 정확한 계획 예측을 가능하게 했다.