[논문 리뷰] Acceleration of Actor-Critic Deep Reinforcement Learning for Visual Grasping in Clutter by State Representation Learning Based on Disentanglement of a Raw Input Image

Tae Won Kim, Yeseong Park외 2명|arXiv (Cornell University)|2020. 02. 27.

Advanced Memory and Neural Computing참고 문헌 36인용 수 7

한 줄 요약

이 논문은 시각적 혼잡도 환경에서 액터-크리틱 강화학습(Reinforcement Learning, RL)의 속도를 향상시키기 위해 원시 RGB 이미지의 분리(decomposition) 기반 상태 표현 학습(SRL) 방법을 제안한다. 원시 이미지를 물체 정체성, 위치, 기타 요소로 분리하는 전처리 과정을 통해, 희소 보상 조건과 다양한 미리 보지 않은 물체가 존재하는 환경에서도 효율적인 그립 정책 학습이 가능해지며, L3 분리 기반의 FM+AE를 사용한 시뮬레이션에서 71.9%의 성공률을 달성하였다.

ABSTRACT

For a robotic grasping task in which diverse unseen target objects exist in a cluttered environment, some deep learning-based methods have achieved state-of-the-art results using visual input directly. In contrast, actor-critic deep reinforcement learning (RL) methods typically perform very poorly when grasping diverse objects, especially when learning from raw images and sparse rewards. To make these RL techniques feasible for vision-based grasping tasks, we employ state representation learning (SRL), where we encode essential information first for subsequent use in RL. However, typical representation learning procedures are unsuitable for extracting pertinent information for learning the grasping skill, because the visual inputs for representation learning, where a robot attempts to grasp a target object in clutter, are extremely complex. We found that preprocessing based on the disentanglement of a raw input image is the key to effectively capturing a compact representation. This enables deep RL to learn robotic grasping skills from highly varied and diverse visual inputs. We demonstrate the effectiveness of this approach with varying levels of disentanglement in a realistic simulated environment.

연구 동기 및 목표

• 희소 보상과 복잡한 시각 입력 조건에서 비정책 기반 액터-크리틱 RL의 낮은 샘플 효율성과 불안정성 문제를 해결한다.
• 원시 이미지에서 분리된 표현 학습이 다양한 새로운 물체가 혼잡한 환경에서 그립 정책 학습에 있어 딥 RL 성능 향상에 기여하는지 탐구한다.
• 물체 정체성, 위치 등 독립적인 생성 요인을 분리하는 시각 입력의 분리가 RL에 더 컴act하고 정보가 풍부한 상태 표현을 제공함을 보여준다.
• 실제 시뮬레이션 환경에서 다양한 수준의 분리 정도에 따라 다양한 SRL 모델(VAE, SAE, FM+AE 등)의 성능을 평가한다.
• 사전 학습된 SRL 모델을 사용해 RL 학습을 초기화하는 프레임워크를 구축함으로써, 공동 SRL-RL 학습 대비 수렴 속도와 최종 성능 향상을 이룬다.

제안 방법

• 원시 RGB 이미지를 입력으로 받아, 세 단계의 분리 체계(L0: 원시 이미지, L1: 물체 수준 분리, L3: 정체성, 위치, 스케일, 조명, 색상 등 전체 분리)를 적용한 후 SRL 모델에 입력한다.
• 분리된 이미지 표현을 기반으로 다수의 SRL 모델—노이즈 제거 오토에인코더(SAE), 변동성 오토에인코더(VAE), β-VAE, 특징 마스킹 오토에인코더(FM+AE)—를 학습시켜 압축되고 분리된 잠재 상태를 학습한다.
• 사전 학습된 SRL 모델을 활용해 후속 비정책 기반 액터-크리틱 RL(DDPG 및 D4PG)에 대한 상태 표현을 추출함으로써 표현 학습과 정책 학습을 분리한다.
• 잠재 공간의 과도한 정규화를 방지하면서도 생성 요인의 분리를 유도하기 위해 β-VAE의 β 값을 작은 값(β=0.1)으로 설정하여 최적화한다.
• 이중 단계 학습 파이프라인을 도입: 먼저 SRL 모델을 분리된 이미지에서 사전 학습하고, 이후 추출된 표현을 사용해 액터-크리틱 정책을 미세 조정한다.
• SRL 기반 RL의 성능을 공동 SRL-RL 학습 및 엔드 투 엔드 RL과 비교하여, 사전 학습된 분리 표현의 이점을 입증한다.

실험 결과

연구 질문

• RQ1 원시 입력 이미지의 분리가 희소 보상 조건에서 액터-크리틱 딥 RL의 샘플 효율성과 최종 성능을 크게 향상시키는가?
• RQ2 L0에서 L3까지의 다양한 수준의 분리 정도가 다양한 SRL 모델의 성능에 어떻게 영향을 미치며, 다양한 새로운 물체의 그립 정책 학습에 기여하는가?
• RQ3 혼잡한 환경에서 로봇 그립을 위한 분리된 표현과 결합했을 때, SAE, VAE, β-VAE, FM+AE 등의 SRL 아키텍처 중 어느 것이 가장 우수한 성능을 보이는가?
• RQ4 SRL 학습을 RL 학습 이전에 사전 학습하는 것이 공동 학습보다 성능 향상에 기여하는가?
• RQ5 복잡하고 혼잡한 시각 입력에 적용했을 때, β-VAE의 하이퍼파rameter인 β 값의 변화에 대해 성능가 얼마나 민감한가?

주요 결과

• 분리된 이미지 표현의 사용은 액터-크리틱 RL의 그립 성공률을 크게 향상시키며, L3 분리 기반의 FM+AE에서 최고 성능(71.9%)을 기록하였다.
• 원시 입력 이미지(L0) 및 저수준의 분리(L1)는 효과적인 학습을 가능하게 하지 못하며, 정책 학습을 지원하기 위해서는 충분히 구조화된 표현이 필요함을 시사한다.
• β=0.1로 설정한 β-VAE가 VAE 변종 중에서 최고의 성능을 보였고, 더 높은 β 값(예: β=2)은 성능을 떨어뜨리며, 이는 복잡한 입력에서의 과도한 정규화가 학습에 악영향을 준다는 것을 의미한다.
• SAE는 L2 분리에서 최고 성능를 기록했으며, 이는 표준 오토에인코더와는 다름없는 고유한 인코더 구조가 공간적 특징을 다르게 추출하기 때문일 것이다.
• SRL과 RL을 공동으로 학습하는 것은 L3 분리 조건에서도 완전히 실패했으며, 이는 액터와 크리틱 네트워크 간의 상호 의존성 때문이며, 분리된 사전 학습의 이점이 뚜렷하게 드러난다.
• D4PG 알고리즘이 동일한 설정에서 DDPG를 능가했지만, 둘 다 SRL을 통해 상당한 성능 향상을 보였으며, 사전 학습된 표현을 사용할 경우 최고 성능 모델과 유사한 성공률을 기록하였다.