[논문 리뷰] H-InDex: Visual Reinforcement Learning with Hand-Informed Representations for Dexterous Manipulation

Yanjie Ze, Yuyao Liu외 5명|arXiv (Cornell University)|2023. 10. 02.

Robot Manipulation and Learning인용 수 4

한 줄 요약

H-InDex는 사전 훈련된 3D 인간 손 자세 표현을 활용하여 로봇의 민감한 조작 능력을 향상시키는 시각적 강화학습 프레임워크를 제안한다. 자기지도 키포인트 검출과 EMA 배치정규화 적응을 통해 오직 0.36%의 파라미터만 미세조정함으로써 12개의 도전적인 조작 과제에서 최신 기준 성능(SOTA)을 달성하며, 최근의 시각 기초 모델들을 능가한다.

ABSTRACT

Human hands possess remarkable dexterity and have long served as a source of inspiration for robotic manipulation. In this work, we propose a human $ extbf{H}$and$ extbf{-In}$formed visual representation learning framework to solve difficult $ extbf{Dex}$terous manipulation tasks ($ extbf{H-InDex}$) with reinforcement learning. Our framework consists of three stages: (i) pre-training representations with 3D human hand pose estimation, (ii) offline adapting representations with self-supervised keypoint detection, and (iii) reinforcement learning with exponential moving average BatchNorm. The last two stages only modify $0.36\%$ parameters of the pre-trained representation in total, ensuring the knowledge from pre-training is maintained to the full extent. We empirically study 12 challenging dexterous manipulation tasks and find that H-InDex largely surpasses strong baseline methods and the recent visual foundation models for motor control. Code is available at https://yanjieze.com/H-InDex .

연구 동기 및 목표

• 인간 손의 민감도를 기반으로 한 시각적 표현을 활용하여 로봇 손의 민감한 조작 능력을 향상시키는 것.
• 시각적 강화학습 환경에서 인간 손의 지식을 로봇 정책 학습에 효과적으로 전이하는 과제를 해결하는 것.
• 사전 훈련된 모델의 파라미터를 극히 소수만 업데이트하여 치명적인 기억 상실을 최소화하는 것.
• 사전 훈련된 인간 손 자세 추정기들이 전체 재훈련 없이도 효과적인 시각 사전 지식으로서 로봇 제어에 활용될 수 있음을 입증하는 것.

제안 방법

• FrankMocap를 사용하여 3D 인간 손 자세 추정기를 활용해 인간의 민감도를 특징 인코더에 통합하는 시각적 표현을 사전 훈련한다.
• 자기지도 키포인트 검출을 통해 사전 훈련된 표현을 적응시키며, 오직 0.18%의 파라미터(배치정규화 레이어의 애핀 변환)만 업데이트한다.
• 강화학습 중에 지수이동평균(EMA) 배치정규화를 적용하여 정규화 통계를 동적으로 조정함으로써 더 나은 적응을 달성한다.
• 적응 과정 중에 컨볼루션 백본을 동결함으로써 사전 훈련된 지식을 유지하면서 도메인 이동 일반화 능력을 향상시킨다.
• 적응된 표현을 입력으로 사용하는 표준 시각 RL 파이프라인을 활용하며, 정책 및 보상 설계를 그대로 유지함으로써 독립적인 평가를 수행한다.
• 세 단계 파이프라인을 적용한다: (1) 인간 손 자세에 대한 사전 훈련, (2) 최소한의 미세조정을 통한 오프라인 적응, (3) EMA 배치정규화를 활용한 엔드 투 엔드 RL 훈련.

Figure 1 : Normalized average score for our algorithm H-InDex and the baselines (VC-1 [ 17 ] , MVP [ 31 ] , R3M [ 18 ] , and RRL [ 27 ] ).

실험 결과

연구 질문

• RQ1 사전 훈련된 3D 인간 손 자세 표현은 로봇 민감한 조작 과제에서 샘플 효율성과 성능 향상에 기여하는가?
• RQ2 사전 훈련된 시각 모델에서 오직 소수의 파라미터(0.18%)만 미세조정하는 것이 인간의 민감도를 유지하면서도 로봇 도메인에 적응하는 데 효과적인가?
• RQ3 적응된 표현을 사용하는 시각 RL 환경에서 EMA 배치정규화는 정책 학습의 안정성과 성능을 어떻게 향상시키는가?
• RQ4 인간 손 이해를 위해 사전 훈련된 모델이 작업 특화 사전 훈련 없이도 로봇 조작 과제에 효과적으로 일반화되는가?
• RQ5 VC-1, MVP, R3M와 같은 최근의 시각 기초 모델들과 비교할 때 H-InDex는 성능 및 내구성 측면에서 어떻게 다른가?

주요 결과

• H-InDex는 VC-1, MVP, R3M, RRL과 같은 강력한 베이스라인을 12개의 도전적인 민감한 조작 과제에서 모두 능가하며, 정규화된 평균 점수 비교를 통해 이를 입증한다.
• 모델의 99.64%에 가까운 파라미터를 유지함으로써 적응 과정에서 치명적인 기억 상실을 최소화함으로써 뛰어난 성능을 달성한다.
• 배치정규화의 애핀 변환 가중치만 0.18% 업데이트하는 것만으로도 모든 파라미터를 미세조정하는 것보다 더 좋은 성능을 내며, 파라미터 효율적 적응의 유용성을 확인한다.
• 단계 3에서 EMA 배치정규화가 학습 안정성과 최종 성능 향상에 크게 기여하며, 아블레이션 연구를 통해 그 필수성을 입증한다.
• 새로운 배경 환경에 대한 일반화 능력에서 VC-1보다 H-InDex가 뛰어나, 배경이 변경된 '물체 이동' 과제에서 이를 입증한다.
• 시각화 결과는 최소한의 파라미터 업데이트에도 불구하고 적응된 모델이 손과 물체의 키포인트에 효과적으로 집중하고 있음을 확인하며, 효과적인 특징 정렬이 이루어졌음을 시사한다.

Figure 2 : The overview of H-InDex. H-InDex consists of three stages: 1) representation pre-training, 2) representation offline adaptation, and 3) reinforcement learning.