[논문 리뷰] TarGF: Learning Target Gradient Field to Rearrange Objects without Explicit Goal Specification

Mingdong Wu, Fangwei Zhong외 2명|arXiv (Cornell University)|2022. 09. 02.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 목표 사양 없이도 물체 재배열을 안내할 수 있도록 예시 레이아웃에서 목표 기울기 장을 학습하는 점수 기반 방법 TarGF를 제안한다. 타겟 분포의 로그 밀도의 기울기를 추정함으로써 TarGF는 모델 기반 계획 및 강화학습 모두에 대해 물체별 안내를 제공하며, 공기구 및 방 재배열 작업 전반에 걸쳐 최종 상태 품질, 효율성, 확장성 측면에서 기존 최고 성능(SOTA) 방법을 크게 능가한다.

ABSTRACT

Object Rearrangement is to move objects from an initial state to a goal state. Here, we focus on a more practical setting in object rearrangement, i.e., rearranging objects from shuffled layouts to a normative target distribution without explicit goal specification. However, it remains challenging for AI agents, as it is hard to describe the target distribution (goal specification) for reward engineering or collect expert trajectories as demonstrations. Hence, it is infeasible to directly employ reinforcement learning or imitation learning algorithms to address the task. This paper aims to search for a policy only with a set of examples from a target distribution instead of a handcrafted reward function. We employ the score-matching objective to train a Target Gradient Field (TarGF), indicating a direction on each object to increase the likelihood of the target distribution. For object rearrangement, the TarGF can be used in two ways: 1) For model-based planning, we can cast the target gradient into a reference control and output actions with a distributed path planner; 2) For model-free reinforcement learning, the TarGF is not only used for estimating the likelihood-change as a reward but also provides suggested actions in residual policy learning. Experimental results in ball and room rearrangement demonstrate that our method significantly outperforms the state-of-the-art methods in the quality of the terminal state, the efficiency of the control process, and scalability.

연구 동기 및 목표

• 명시적인 목표 사양이 없는 환경에서 물체 재배열을 해결하기 위해, 목표 상태나 보상 함수를 정의하는 것이 어려운 상황에서의 문제 해결.
• 비용이 많이 드는 전문가 지도 없이도 예시 목표 레이아웃 세트만으로 효과적인 재배열 정책을 학습할 수 있도록 하는 것.
• 수동으로 설계된 보상이나 목표 조건에 의존하지 않고도 제어를 위한 운동 안내 및 보상 신호를 제공하는 방법 개발.
• 복잡한 실제 세계 유사 환경에서 물체 재배열의 품질, 효율성, 확장성 향상.

제안 방법

• 노이즈 제거 점수 매칭을 통해 타겟 스코어 네트워크를 훈련하여 타겟 분포의 로그 밀도 기울기를 추정함으로써 타겟 기울기 장(TarGF)을 형성.
• TarGF를 사용하여 타겟 분포의 높은 밀도 영역을 햖향하는 물체별 가짜 속도를 생성함으로써 물체 이동을 안내.
• TarGF를 모델 기반 경로 계획기(예: ORCA)에 통합하여 충돌이 없고 효율적인 물체 재배열 경로를 생성.
• TarGF에서 유도된 가능도 변화 기반 보상 신호를 강화학습에 활용하여 전문가 트레이젝터리 없이도 보상 형상화 가능.
• TarGF를 잔차 정책 네트워크와 결합하여 모델리스 강화학습 프레임워크(예: SAC)에 통합함으로써 샘플 효율성과 정책 성능 향상.
• 스코어 네트워크 훈련을 위해 상태 예시를 이미지로 렌더링함으로써 이미지 기반 입력으로의 확장, 시각적 보상 학습 가능.

실험 결과

연구 질문

• RQ1 점수 기반 모델이 명시적인 목표 사양 없이 예시 레이아웃 세트만으로 의미 있는 타겟 기울기 장을 학습할 수 있는가?
• RQ2 학습된 타겟 기울기 장이 물체 재배열에서 계획 및 강화학습 모두에 얼마나 효과적으로 안내하는가?
• RQ3 복잡한 고차원 환경에서 SOTA 방법에 비해 TarGF가 최종 구성의 품질과 효율성을 어떻게 향상시키는가?
• RQ4 TarGF는 속도 기반 및 힘 기반 제어와 같은 다양한 동역학에 일반화되는가?
• RQ5 모드 붕괴를 피하면서도 높은 품질의 상태를 달성하는 동안 최종 구성의 다양성을 유지할 수 있는가?

주요 결과

• TarGF 기반 방법은 잠재 분포의 평균 엔트로피가 낮아(진짜 값 대비 0.0037 대 0.0066) 최종 상태 품질에서 SOTA 기준선을 크게 능가하며, 모든 목표 모드를 잘 커버함.
• 공기구 재배열 작업에서 TarGF 기반 계획은 ORCA 및 SQIL 기준선 대비 경로 길이와 충돌 수를 줄여 더 빠른 수렴 달성.
• 이미지 기반 보상 학습을 사용하더라도 SAC 기반 기준선과 비교해 성능이 유사하게 유지되었으며, 입력 차원이 높아져 약간의 효율성 저하 발생.
• 힘 기반 동역학 환경에서 TarGF 기반 PID 제어기 성능이 SAC에 근접하여 제어 동역학 및 오차에 대한 강건성 입증.
• 기울기 크기를 통해 물체 선택을 수행하는 이중 수준 정책은 정량적·정성적 지표에서 목표 기반 기준선을 모두 능가.
• 재배열 결과의 평균 잠재 분포가 진짜 값의 모드 중심과 유사하게 나타나, 다양한 목표 구성에 대한 효과적인 커버리지 입증.