[논문 리뷰] Deep Affordance Foresight: Planning Through What Can Be Done in the Future

Danfei Xu, Ajay Mandlekar외 4명|arXiv (Cornell University)|2020. 11. 17.

Robot Manipulation and Learning참고 문헌 53인용 수 6

한 줄 요약

이 논문은 장기 계획을 위한 학습-계획 프레임워크인 딥 어프포턴스 포스카이트(DAF)를 제안한다. 이는 전통적인 어프포턴스를 향후 행동의 가능성을 모델링하는 데로 확장하여 장기적인 로봇 조작을 가능하게 한다. 픽셀 입력에서 잠재 동역학 모델과 어프포턴스 예측 모델을 학습함으로써 DAF는 높은 성공률로 다단계 작업을 계획하며, 액체倒기나 도구 사용과 같은 복잡한 작업에서 이전 방법들을 능가한다.

ABSTRACT

Planning in realistic environments requires searching in large planning spaces. Affordances are a powerful concept to simplify this search, because they model what actions can be successful in a given situation. However, the classical notion of affordance is not suitable for long horizon planning because it only informs the robot about the immediate outcome of actions instead of what actions are best for achieving a long-term goal. In this paper, we introduce a new affordance representation that enables the robot to reason about the long-term effects of actions through modeling what actions are afforded in the future, thereby informing the robot the best actions to take next to achieve a task goal. Based on the new representation, we develop a learning-to-plan method, Deep Affordance Foresight (DAF), that learns partial environment models of affordances of parameterized motor skills through trial-and-error. We evaluate DAF on two challenging manipulation domains and show that it can effectively learn to carry out multi-step tasks, share learned affordance representations among different tasks, and learn to plan with high-dimensional image inputs. Additional material is available at https://sites.google.com/stanford.edu/daf

연구 동기 및 목표

• 복잡한 행동 공간을 가진 고차원 로봇 환경에서 장기 계획 문제를 해결한다.
• 즉각적인 행동 가능성을만 모델링하는 전통적 어프포턴스의 한계를 극복한다. 이는 장기적인 작업 목표를 무시하기 때문이다.
• 현재뿐만 아니라 향후 작업 달성에 기여할 수 있는 최적의 행동을 고려하는 방법을 개발한다.
• 액체를 부는 등의 복잡한 동역학을 모델링하기 위해 원시 RGB 관측값에서부터 엔드 투 엔드 학습을 가능하게 한다.
• 다양한 조작 작업 간에 작업에 종속되지 않는 어프포턴스 표현을 공유함으로써 전이 학습을 촉진한다.

제안 방법

• 즉각적인 성공이 필요하지 않으며, 행동 실행 이후의 향후 가능성을 중시하는 더 유연한 어프포턴스 정의를 도입한다.
• 실행된 스킬 계획에 조건부된 미래 잠재 상태를 예측하기 위해 잠재 동역학 모델을 학습한다.
• 현재 및 미래의 잠재 상태에서 행동의 가능성을 평가하기 위해 어프포턴스 예측 모델을 훈련한다.
• 잠재 동역학 모델과 어프포턴스 모델을 조합하여 작업 목표를 달성할 가능성이 가장 높은 다단계 계획을 선택한다.
• 이미지 관측값을 인코딩하기 위해 ResNet 인코더와 공간 소프트맥스, 그리고 MLP를 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 시험-오류 방식의 보상 기반 커리큘럼을 사용하여 훈련함으로써 점진적인 환경 모델 구축을 허용한다.

Figure 1: We illustrate our method in a tool-use domain (left). Classical affordance models the immediate effects of actions. In this case, a graspable(tool) would only inform that the tool can be grasped and held. However, the two tasks shown on the right require the robot to grasp the tool differe

실험 결과

연구 질문

• RQ1 어떻게 어프포턴스 표현을 장기적인 행동 결과를 모델링할 수 있도록 확장할 수 있는가? 이는 다단계 작업 계획을 향상시키는 데 기여할 수 있는가?
• RQ2 로봇은 현재만 가능한 행동을 선택하는 것이 아니라, 목표 향한 향후 행동 가능성을 확보할 수 있도록 어떤 방식으로 행동을 선택할 수 있는가?
• RQ3 한 개의 작업에 종속되지 않는 어프포턴스 표현을 여러 작업 간에 공유함으로써 효율적인 전이 학습을 가능하게 할 수 있는가?
• RQ4 원시 이미지 입력에서 학습된 모델이 조작 작업에서 액체를 부는 등의 복잡한 동역학을 얼마나 잘 학습할 수 있는가?
• RQ5 기존의 잠재 공간 계획 접근법과 비교했을 때, 제안된 방법은 복잡한 작업에서 샘플 효율성과 성공률 측면에서 어느 정도 뛰어난가?

주요 결과

• DAF는 1500 에피소드 내에 복잡한 커피 채우기 작업을 0.6의 성공률로 학습했으며, GC-PlaNet이 0.2 이하에 머물러 있음을 감안할 때 크게 뛰어난 성능을 보였다.
• DAF는 낮은 성능 변동성을 보였으며, 더 단순한 티 마시기 작업에서도 높은 성공률를 기록했다. 반면 GC-PlaNet은 더 높은 불안정성을 보였다.
• 미리 훈련된 티 마시기 정책에서 미세조정을 수행한 DAF는 단 300 에피소드 만에 커피 채우기 작업을 학습했다. 이는 강력한 전이 가능성의 증거였다.
• 반면 GC-PlaNet은 미세조정을 수행해도 유의미한 향상이 없었으며, 이는 DAF의 작업에 종속되지 않는 어프포턴스 표현이 효과적인 지식 전이를 가능하게 한다는 것을 시사한다.
• DAF는 고차원 이미지 입력을 사용하여 복잡한 동역학, 예를 들어 액체를 부는 동작을 성공적으로 학습했으며, 수동으로 정의하기 어려운 동역학을 모델링할 수 있었다.
• 이 방법은 원시 시각 관측값에서부터 티 마시기와 커피 채우기 작업을 동시에 학습할 수 있었으며, 도전적인 조작 영역에서의 강건성과 일반화 능력을 입증했다.

Figure 2: Results on the jointly learning the two tool-use tasks shown in Fig. 1 and a combined tool-use + stack task, where the robot has to use the tool to get both cubes and stack them on the green target. We compare our method (DAF) and a goal-conditional variant of PlaNet [ 24 ] (GC-PlaNet).