[논문 리뷰] Goal-Aware Prediction: Learning to Model What Matters

Suraj Nair, Silvio Savarese외 1명|arXiv (Cornell University)|2020. 07. 14.

Software System Performance and Reliability인용 수 24

한 줄 요약

이 논문은 목표-인식 예측(Goal-Aware Prediction, GAP)을 제안하며, 이는 목표 상태 잔차를 전체 상태가 아닌 예측함으로써 작업 관련 상태 성분을 우선시하는 자기지도 학습 프레임워크이다. 상태와 목표에 조건을 두어, 핵심 요소의 모델 오차를 줄이고, 보상 또는 레이블 없이 시각 기반 제어에서 후행 작업 성능을 향상시킨다.

ABSTRACT

Learned dynamics models combined with both planning and policy learning algorithms have shown promise in enabling artificial agents to learn to perform many diverse tasks with limited supervision. However, one of the fundamental challenges in using a learned forward dynamics model is the mismatch between the objective of the learned model (future state reconstruction), and that of the downstream planner or policy (completing a specified task). This issue is exacerbated by vision-based control tasks in diverse real-world environments, where the complexity of the real world dwarfs model capacity. In this paper, we propose to direct prediction towards task relevant information, enabling the model to be aware of the current task and encouraging it to only model relevant quantities of the state space, resulting in a learning objective that more closely matches the downstream task. Further, we do so in an entirely self-supervised manner, without the need for a reward function or image labels. We find that our method more effectively models the relevant parts of the scene conditioned on the goal, and as a result outperforms standard task-agnostic dynamics models and model-free reinforcement learning.

연구 동기 및 목표

• 표준 동역학 모델(상태 복원을 위해 훈련됨)과 후행 계획기/정책(작업 완료를 위해 훈련됨) 사이의 목표 불일치 문제를 해결한다.
• 특히 혼잡한 환경에서 고차원 시각 관측치의 작업 관련 상태 성분에 대한 모델 오차를 줄인다.
• 보상 신호나 이미지 애너테이션 없이도 계획 및 정책 학습에 더 효과적인 동역학 모델의 자기지도 학습을 가능하게 한다.
• 목표 관련 동역학에 모델 용량을 집중시킴으로써, 시각 기반 로봇 제어에서 일반화 능력과 샘플 효율성을 향상시킨다.

제안 방법

• 현재 상태와 목표를 함께 인코딩하는 잠재 동역학 모델을 훈련하여, 현재 상태와 목표 상태 간 잔차를 예측하도록 학습한다.
• 단일 시범 트레이젝터리에서 다양한 목표 조건의 트레이젝터리를 생성하기 위해 훈련 중에 목표 재할당(goal-relabelling)을 사용한다.
• 전체 상태가 아닌 목표 상태 잔차를 복원하는 것을 예측 목표로 설정함으로써, 모델 용량이 작업 관련 정보에 집중되도록 유도한다.
• SVG와 같은 비디오 예측 모델에 프레임워크를 적용하여, 인코더를 현재 상태와 목표에 조건부로 설정하고 다음 잔차를 예측한다.
• 목표 관련 운동과 구조에 집중된 분리된 표현을 장려하기 위해 자기지도 대비 목표를 사용한다.
• 보상 신호나 레이블 없이도 환경에서 수집한 비정형 비디오 데이터만을 사용하여 동역학 모델의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기지도 동역학 모델이 작업 관련 상태 성분을 우선시하도록 훈련시킬 수 있는가? 이는 후행 계획에 필요한 핵심 요소에서 오차를 줄이는가?
• RQ2 전체 상태가 아닌 목표 상태 잔차를 모델링하면, 시각 기반 제어 작업에서 더 나은 후행 작업 성능을 달성하는가?
• RQ3 목표-인식 예측은 실제 혼잡한 시각 환경에서 대규모 비디오 예측 모델인 SVG와 효과적으로 통합될 수 있는가?
• RQ4 샘플 효율성과 최종 성능 측면에서, 목표-인식 예측은 표준 작업 무관 동역학 모델 및 모델리스 강화학습보다 어떻게 비교되는가?

주요 결과

• GAP는 4개의 시각 기반 조작 작업 중 3개에서 기준 모델 대비 성공률을 10–20% 절대적으로 향상시키며, 특히 가장 복잡한 2블록 작업에서 가장 큰 성과를 기록한다.
• 실제 로봇 데이터셋(BAIR 및 RoboNet)에서 GAP은 표준 동작 조건의 SVG보다 목표 도달 트레이젝터리의 예측 오차를 20–30% 감소시킨다.
• 정성적 분석 결과, GAP는 표준 모델과 달리 작은 목표 관련 물체(예: 숟가락)의 운동을 효과적으로 포착하면서 불필요한 간섭 요소는 무시한다.
• 절단 분석 결과, 최적 성능을 위해 목표 조건과 잔차 예측이 모두 필요하며, 이 둘의 조합이 개별 구성 요소보다 우수한 성능을 낸다.
• 특히 표준 모델이 핵심 동역학에 집중하지 못하는 고변동성, 혼잡한 장면에서 GAP은 작업 관련 상태에 대한 모델 오차를 크게 줄인다.
• 이 방법은 실제 시각 제어 작업에 효과적으로 스케일업되며, 시뮬레이션 환경을 초월해 강건성과 일반화 능력을 입증한다.