[논문 리뷰] Coarse-to-Fine Q-attention with Learned Path Ranking

Stephen James, Pieter Abbeel|arXiv (Cornell University)|2022. 04. 04.

Robotic Path Planning Algorithms인용 수 4

한 줄 요약

이 논문은 복잡한 조작 작업에서 정밀한 운동이 필요한 샘플 효율적인 시각 기반 강화 학습을 가능하게 하기 위해, 계획, Bézier 곡선 또는 행동 클로닝된 정책를 통해 생성된 다양한 경로를 학습하여 순위를 매기는 방법인 학습된 경로 순위 매기기(LPR)를 소개한다. 주요 기여는 C2F-ARM+LPR로, 16개의 RLBench 작업에서 100% 성공률를 달성했으며, 3개의 시연만으로 화장실 좌석을 열거나 파일 캐비닛을 여는 등의 실제 세계 작업을 10~15분 내로 학습한다.

ABSTRACT

We propose Learned Path Ranking (LPR), a method that accepts an end-effector goal pose, and learns to rank a set of goal-reaching paths generated from an array of path generating methods, including: path planning, Bezier curve sampling, and a learned policy. The core idea being that each of the path generation modules will be useful in different tasks, or at different stages in a task. When LPR is added as an extension to C2F-ARM, our new system, C2F-ARM+LPR, retains the sample efficiency of its predecessor, while also being able to accomplish a larger set of tasks; in particular, tasks that require very specific motions (e.g. opening toilet seat) that need to be inferred from both demonstrations and exploration data. In addition to benchmarking our approach across 16 RLBench tasks, we also learn real-world tasks, tabula rasa, in 10-15 minutes, with only 3 demonstrations.

연구 동기 및 목표

• 화장실 좌석을 여는 것처럼 특정 운동이 매우 중요한 작업을 학습하는 데 있어 C2F-ARM의 한계를 해결하기 위해.
• 물체의 운동학적 지식 없이도 단일 에이전트가 다양한 작업 특화 운동 패tern을 학습할 수 있도록 하기 위해.
• 다양한 경로 생성 방법을 결합한 학습된 순위 함수를 통해 실제 환경 학습의 샘플 효율성을 향상시키기 위해.
• 희소 보상과 시각 입력이 있는 작업, 특히 정밀한 운동 제어가 필요한 작업으로의 일반화를 가능하게 하기 위해.
• 수동으로 설계된 운동 프리미티브에 대한 의존도를 줄이기 위해, 시연 및 탐색 데이터에서 경로 선호도를 학습하기 위해.

제안 방법

• LPR는 세 가지 원천에서 생성된 충돌 없는 경로의 다양성 집합을 순위 매기기 위한 Q-함수를 학습한다: 샘플링 기반 경로 계획, Bézier 곡선 샘플링, 행동 클로닝된 정책.
• 경로 정책는 성공적으로 작업을 완료한 경로에 대해 행동 클로닝을 통해 훈련되어, 직접적인 보상 형상화 없이도 운동 선호도를 학습할 수 있다.
• 추론 시점에 LPR Q-함수에서 순위가 가장 높은 경로가 선택되고 실행되어, 다양한 경로 생성 전략 간에 동적으로 전환할 수 있다.
• C2F-ARM와 통합하기 위해, 다음 최적 자세 출력을 경로 순위 매기기 모듈의 입력으로 사용함으로써 원래 시스템의 샘플 효율성을 유지한다.
• 훈련이 진행됨에 따라 샘플링 기반 방법에서 정책 기반 경로로 진화하는 하이브리드 경로 생성 파이프라인을 사용한다.
• 경로 정책는 시각 입력 없이 훈련되어 계산 오버헤드를 최소화하면서도 효과적인 경로 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 물체 지식 없이도, 학습된 경로 순위 매기기 메커니즘이 시각 기반, 희소 보상 강화 학습에서 작업 커버리지를 향상시킬 수 있는가?
• RQ2 계획, 곡선 샘플링, 그리고 학습된 정책를 조합한 하이브리드 경로 생성 접근법이 복잡한 조작 작업을 얼마나 효과적으로 해결할 수 있는가?
• RQ3 LPR는 C2F-ARM이 최소한의 시연로 정밀한 운동이 필요한 실제 세계 작업을 학습할 수 있도록 할 수 있는가?
• RQ4 행동 클로닝된 경로 정책의 통합이 운동 특성이 높은 작업에서 일반화 및 성공률 향상에 기여하는가?
• RQ5 훈련이 진행됨에 따라 샘플링 기반 경로 계획에 대한 의존도가 얼마나 감소하는가?

주요 결과

• C2F-ARM+LPR는 화장실 좌석을 들어 올리는 것과 같은 매우 특정한 운동이 필요한 작업을 포함한 16개의 RLBench 작업에서 100% 성공률를 달성했다.
• 시스템은 3개의 원격 조작 시범만으로 약 10~15분 내로 파일 캐비닛을 여는 것과 장난감 싱크대를 여는 실제 세계 작업을 학습했다.
• 슬라이딩 또는 선형 운동이 필요한 작업(예: open_drawer)에서는 경로 정책가 가장 높은 순위를 받는 반면, 복사 운동이 필요한 작업(예: lift_toilet_seat_up)에서는 곡선 경로가 선호된다.
• 이전에 해결된 작업에서 성능 저하 없이 C2F-ARM의 샘플 효율성을 유지하면서도 작업 범위를 확장함을 입증했다.
• 훈련이 진행됨에 따라 학습된 경로 정책가 점점 더 효과적으로 작동하여 샘플링 기반 경로 생성에 대한 의존도가 감소한다.
• 정성적 결과는 LPR가 작업 역학에 따라 적절한 경로 유형을 정확히 선택하며, 에피소드 간 일관된 경로 선택 패턴을 확인할 수 있었다.