[논문 리뷰] ROLL: Visual Self-Supervised Reinforcement Learning with Object Reasoning

Yufei Wang, Gautham Narayan Narasimhan외 3명|arXiv (Cornell University)|2020. 11. 13.

Reinforcement Learning in Robotics참고 문헌 37인용 수 8

한 줄 요약

ROLL은 LSTM 기반의 시간적 모델링과 대비 매칭 손실을 조합하여 물체 추론을 통합하는 시각적 자기지도 강화학습 프레임워크를 제안한다. 부분적인 물체 가림 상황에서도 강건성을 향상시키기 위해 음영이 드리운 프레임과 드리운 바이어스가 없는 프레임 간의 잠재 공간 매칭을 활용한다. 85% 픽셀 가림 상황에서도 평균 추정 오차가 단지 1cm에 그치며, 매칭 손실나쁜 기반 모델이나 물체-VAE를 사용하지 않은 기준 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Current image-based reinforcement learning (RL) algorithms typically operate on the whole image without performing object-level reasoning. This leads to inefficient goal sampling and ineffective reward functions. In this paper, we improve upon previous visual self-supervised RL by incorporating object-level reasoning and occlusion reasoning. Specifically, we use unknown object segmentation to ignore distractors in the scene for better reward computation and goal generation; we further enable occlusion reasoning by employing a novel auxiliary loss and training scheme. We demonstrate that our proposed algorithm, ROLL (Reinforcement learning with Object Level Learning), learns dramatically faster and achieves better final performance compared with previous methods in several simulated visual control tasks. Project video and code are available at https://sites.google.com/andrew.cmu.edu/roll.

연구 동기 및 목표

• 부분 관찰 조건, 특히 물체 가림 상황에서 시각적 강화학습의 표현 학습을 향상시키기 위해.
• 시각 입력에서 부분적으로 가려져 있어도 물체의 위치에 대해 추론할 수 있도록 하는 것.
• 인간 레이블링이나 보상 형상화 없이도 작동하는 자기지도 프레임워크를 개발하기 위해.
• LSTM 기반의 시퀀스 모델링과 대비 매칭 손실을 조합하여 시각적 추론에 미치는 영향을 평가하기 위해.
• 명시적인 물체 검출에 의존하지 않고도 복잡한 조작 작업에서 가림에 대한 강건성을 입증하기 위해.

제안 방법

• RGB 관측치로부터 환경의 분리 가능한 시각적 표현을 학습하기 위해 스크린-VAE를 사용한다.
• 개별 물체의 분리 가능한 표현을 학습하기 위해 물체-VAE를 활용하며, 사전 훈련 중에 합성 가림을 적용한다.
• 물체 상태의 시간적 동역학을 모델링하기 위해 LSTM 네트워크를 도입하며, 자동에코 손실과 매칭 손실을 함께 훈련한다.
• 잠재 공간 내에서 음영이 드리운 프레임의 잠재 표현과 가장 가까운 이웃이 아닌 프레임 간의 대비 매칭 손실을 적용한다.
• 이동 중인 물체를 분리하기 위해 배경 제거 모듈(OpenCV의 BackgroundSubtractorMOG2를 활용)과 로봇 세그멘테이션 네트워크를 사용하여 로봇 영역을 전경 탐지에서 제외한다.
• LSTM과 물체-VAE를 이중 단계 과정으로 훈련한다: 사전 훈련 단계에서는 합성 트레이젝터리를 사용하고, RL 훈련 중에는 기울인 리플레이 버퍼를 활용해 온라인 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 물체 추론을 통합한 자기지도 시각적 표현 학습이 시각적 강화학습에서 물체 가림에 대한 강건성을 향상시키는가?
• RQ2 LSTM 기반의 시간적 모델링과 대비 매칭 손실을 조합했을 때, 가림 상황에서 추정 정확도에 어떤 영향을 미치는가?
• RQ3 매칭 손실 계수의 영향은 다양한 수준의 가림을 포함한 작업 간에 어떻게 나타나는가?
• RQ4 ROLL은 Skew-Fit와 같은 최첨단 기법과 비교해 조작 정확도와 가림 일반화 능력에서 어떤가?
• RQ5 LSTM과 매칭 손실의 통합이 물체 위치 추론 능력에 얼마나 의존하는가?

주요 결과

• ROLL은 85%의 합성 가림 상황에서도 실제 퍼프 위치를 예측할 때 평균 추정 오차가 1cm에 그치며, 매칭 손실이 없는 LSTM(2.2cm)과 물체-VAE(3.1cm)보다 뛰어난 성능을 보였다.
• 매칭 손실이 있는 LSTM은 시각화된 보조 자료에서 모든 테스트된 가림 상황에서 정확한 드리운 바이어스가 없는 프레임을 성공적으로 복원하였다.
• 높은 수준의 가림 작업(예: Hurdle-Top Puck Pushing)에서는 VAE 매칭 손실 계수에 가장 민감하며, 높은 계수일수록 성능 향상이 이루어졌다.
• 낮은 가림 수준의 작업(예: Hurdle-Bottom Puck Pushing)에서는 과도하게 높은 VAE 매칭 손실 계수로 인해 성능이 약간 저하되는 경향이 있었으며, 이는 작업에 맞는 하이퍼파rameter 튜닝이 필요함을 시사한다.
• ROLL은 LSTM 매칭 손실 계수의 변화에 대해 강건하게 반응하여 다양한 계수 값에서도 일관된 성능을 유지하였다.
• 정책 시각화 결과 ROLL은 특히 정밀한 물체 정렬이 필요한 작업에서 Skew-Fit보다 목표 상태와 더 잘 일치하는 것으로 나타났다.