[논문 리뷰] Bingham Policy Parameterization for 3D Rotations in Reinforcement Learning

Stephen James, Pieter Abbeel|arXiv (Cornell University)|2022. 02. 08.

Robotic Mechanisms and Dynamics인용 수 6

한 줄 요약

이 논문은 강화학습에서 3차원 회전을 위한 새로운 정책 파rameterization인 바잉거 정책 파arameterization(BPP)을 제안한다. 기존의 가우시안 분포 대신 단위 노름 퀘터니언에 더 적합한 바잉거 분포를 사용함으로써, 보다 자연스러운 탐색과 정확한 불확실성 모델링을 가능하게 한다. BPP는 워바 문제와 시각 기반 RLBench 조작 작업을 포함한 다양한 3차원 회전 및 6차원 자세 제어 작업에서 성능을 향상시킨다.

ABSTRACT

We propose a new policy parameterization for representing 3D rotations during reinforcement learning. Today in the continuous control reinforcement learning literature, many stochastic policy parameterizations are Gaussian. We argue that universally applying a Gaussian policy parameterization is not always desirable for all environments. One such case in particular where this is true are tasks that involve predicting a 3D rotation output, either in isolation, or coupled with translation as part of a full 6D pose output. Our proposed Bingham Policy Parameterization (BPP) models the Bingham distribution and allows for better rotation (quaternion) prediction over a Gaussian policy parameterization in a range of reinforcement learning tasks. We evaluate BPP on the rotation Wahba problem task, as well as a set of vision-based next-best pose robot manipulation tasks from RLBench. We hope that this paper encourages more research into developing other policy parameterization that are more suited for particular environments, rather than always assuming Gaussian.

연구 동기 및 목표

• 3차원 회전 행동 공간에서 가우시안 정책 파arameterization의 한계를 해결하기 위해, 대칭성과 이중성으로 인해 퀘터니언에 대한 가우시안 표본 추출이 부적절한 점을 다루기 위함.
• 회전에 본질적으로 적합한 분포인 바잉거 분포를 사용할 경우, 연속 제어 강화학습에서 회전 및 자세 예측 작업에서 더 뛰어난 성능을 낼 수 있는지 탐구하기 위함.
• 가우시안 정책 헤드를 바잉거 정책 헤드로 대체함으로써, 단순한 환경부터 복잡한 로봇 제어 환경에 이르기까지 측정 가능한 성능 향상이 발생하는지 입증하기 위함.
• 가우시안 파arameterization의 보편적 사용을 재고하고, 작업 기하학성에 맞게 특화된 분포 기반 정책 파arameterization을 개발할 것을 강화학습 커뮤니티에 권장하기 위함.
• 다양한 설정에서 접근법을 검증하기 위함: 순수한 회전 작업(워바 문제), 시각 기반 다음 최적 자세 조작 작업, 그리고 도전적인 이미지 기반, 희박 보상 RLBench 설정

제안 방법

• 표준 가우시안 정책 출력(평균과 로그 분산)을 3차원 구면에서 분포의 형태를 정의하는 농도 파aram터 $ z_1, z_2, z_3 $로 대체함.
• 신경망을 사용해 바잉거 분포 파aram터 $ z_1, z_2, z_3 $를 예측하며, $ z_1 \leq z_2 \leq z_3 \leq 0 $의 제약 조건을 적용해 순서와 안정성을 확보함.
• 탐색 중 바잉거 분포에서 유효한 퀘터니언 표본을 생성하기 위해 거부 표본 추출을 적용함.
• SAC 및 PPO와 같은 기존 강화학습 알고리즘에 바잉거 정책을 통합하기 위해, 정책 헤드를 바잉거 파aram터를 출력하도록 수정함. 이때 이동 및 그립퍼 동작은 여전히 가우시안 파arameterization을 유지함.
• 로그 정규화 상수와 정규화 상수의 근사치를 신경망을 통해 계산하여 로그 확률과 엔트로피를 산출함. 이는 정책 기울기 업데이트에 필수적임.
• 워바 문제 및 RLBench 작업을 포함한 3차원 회전 또는 6차원 자세 제어가 필요한 환경에서 BPP 정책을 훈련 및 평가함. 이는 형상화된 보상과 희박 보상 설정 모두에서 수행됨.

실험 결과

연구 질문

• RQ1 행동 공간이 단위 퀘터니언으로 제약된 3차원 회전 제어 작업에서, 가우시안 정책 파arameterization을 바잉거 분포로 대체할 경우 성능 향상이 이루어지는가?
• RQ2 바잉거 분포가 3차원 구면에서 정의되며 대칭성이 있어, 가우시안 표본 추출보다 회전 작업에서 더 나은 탐색과 정책 최적화를 제공하는가?
• RQ3 시각 기반 관측을 포함한 복잡한 관측 공간에서, BPP는 고차원적이고 희박 보상이 주어지는 복잡한 로봇 조작 작업에서 어떻게 성능을 내는가?
• RQ4 BPP의 이점은 단순하고 저차원 환경에서부터 RLBench와 같은 도전적인 실제 세계 기반 로봇 제어 벤치마크까지 스케일업 가능한가?
• RQ5 특히 정규화 상수 근사 및 수치 안정성 측면에서, 바잉거 분포를 강화학습에 적용할 때 실질적인 과제는 무엇인가?

주요 결과

• BPP는 순수한 회전 워바 문제에서 가우시안 정책 파arameterization(GPP)보다 뚜렷이 뛰어나며, 퀘터니언 불확실성의 더 나은 모델링 덕분에 수렴 속도와 최종 성능이 향상됨.
• RLBench의 시각 기반 다음 최적 자세 작업에서, SAC(BPP)와 PPO(BPP)는 각각 가우시안 대응 정책보다 더 높은 성공률을 기록함. 이는 복잡한 관측 공간에서 더 나은 일반화와 탐색 능력을 보여줌.
• 가장 도전적인 RLBench 설정—희박 보상과 고차원 이미지 관측—에서도 BPP의 성능 향상이 유지되며, GPP를 사용한 SAC와 PPO는 효과적으로 학습에 실패함.
• 최첨단 이mitation-RL 알고리즘인 ARM에 BPP를 적용한 ARM(BPP)는 GPP를 사용한 ARM보다 더 높은 샘플 효율성과 최종 성능을 달성함. 이는 고급 강화학습 프레임워크로의 확장성 확인.
• 결과는 기하학적 행동 공간에서 정책 파arameterization의 선택이 매우 중요하며, 가우시안 이외의 분포인 바잉거 분포가 회전 민감 작업에서 성능 향상을 이끌 수 있음을 시사함.
• 다소 유망한 결과에도 불구하고, 신경망을 통한 정규화 상수 근사가 잠재적인 수치 불안정성을 유발함. 향후 연구에서는 더 견고한 추정 방법이 필요함.