[논문 리뷰] Reinforcement Learning of Active Vision for Manipulating Objects under Occlusions

Ricson Cheng, Arpit Agarwal외 1명|arXiv (Cornell University)|2018. 11. 20.

Reinforcement Learning in Robotics참고 문헌 31인용 수 21

한 줄 요약

이 논문은 혼잡한 환경에서 가림을 겪는 물체를 조작하기 위해 그립퍼와 카메라 움직임을 공동으로 제어하는 강화학습 프레임워크를 제안한다. 물체 중심 주의와 커리큘럼 학습을 통합함으로써, 물체의 가시성을 유지하는 능동적 시각 정책을 가능하게 하여, 가림 상황에서 정적 카메라 기반 대비 성공률에서 뚜렷한 우월성을 보인다.

ABSTRACT

We consider artificial agents that learn to jointly control their gripperand camera in order to reinforcement learn manipulation policies in the presenceof occlusions from distractor objects. Distractors often occlude the object of in-terest and cause it to disappear from the field of view. We propose hand/eye con-trollers that learn to move the camera to keep the object within the field of viewand visible, in coordination to manipulating it to achieve the desired goal, e.g.,pushing it to a target location. We incorporate structural biases of object-centricattention within our actor-critic architectures, which our experiments suggest tobe a key for good performance. Our results further highlight the importance ofcurriculum with regards to environment difficulty. The resulting active vision /manipulation policies outperform static camera setups for a variety of clutteredenvironments.

연구 동기 및 목표

• 대상 물체가 자주 가려지는 혼잡한 환경에서의 로봇 조작 과제를 해결한다.
• 에이전트가 조작 중 대상 물체의 가시성을 유지하기 위해 그립퍼와 카메라의 제어를 조율할 수 있도록 한다.
• 능동적 인지와 행동을 위한 모듈러 액터-크리틱 아키텍처에 물체 검출기 통합의 효과를 조사한다.
• 커리큘럼 학습과 보조 보상이 정책의 샘플 효율성과 가림 상황에서의 성능 향상에 기여하는지 탐색한다.
• 능동적 카메라 제어가 정적 카메라 설정 대비 가림 환경에서 조작 성공률을 높이는지 입증한다.

제안 방법

• 그립퍼 정책이 추상 상태 표현에서 작동하는 모듈러 액터-크리틱 아키텍처를 설계하며, 카메라 정책은 물체 검출기 출력에 조건화된다.
• 사전 훈련된 물체 검출기 모듈을 통합하여 실시간으로 물체 위치와 가시성을 추정하고, 네트워크에 구조적 주의 편향을 제공한다.
• 상태 추상화 메커니즘을 도입하여 인지와 행동을 분리함으로써, 그립퍼 정책이 임무 관련 상태 정보에 집중할 수 있도록 한다.
• 간단한 환경에서 시작하여 점진적으로 복잡한 환경으로 전이하는 커리큘럼 학습을 구현함으로써, 가려짐이 있는 혼잡한 장면에서의 훈련을 보완한다.
• 밀도 높은 조작 보상과 함께 카메라 정책을 훈련하고, 물체 검출을 위한 보조 가시성 보상 추가 시 영향을 평가한다.
• 샘플 효율성을 향상시키기 위해 뒤집힌 경험 재현(Hindsight Experience Replay, HER)을 적용하지만, 결과적으로 보조 가시성 보상은 성능 향상에 기여하지 못함을 확인함.

실험 결과

연구 질문

• RQ1 손과 눈 제어의 공동 학습이 물체 가림이 있는 환경에서 조작 성공률을 향상시킬 수 있는가?
• RQ2 검출기 모듈을 통한 물체 중심 주의를 통합할 경우, 표준 CNN 대비 정책 성능 향상이 뚜렷한가?
• RQ3 더 단순한 환경에서 더 복잡한 환경으로의 커리큘럼 학습이 훈련 안정성과 성공률 향상에 어느 정도 기여하는가?
• RQ4 보조 가시성 보상 추가가 능동적 카메라 제어 정책 학습에 도움이 되는가?
• RQ5 가림 상황에서 능동적 카메라 제어는 정적 카메라 설정 대비 조작 성공률에서 어떤 차이를 보이는가?

주요 결과

• 제안된 능동적 시각 정책은 갈림의 환경에서 71.0% ± 2.2%의 성공률을 달성하여, 정적 카메라 기반 대비 55.8% ± 6.6%보다 뚜렷한 우월성을 보였다.
• 기본적인 CNN 기반 액터-크리틱 네트워크는 간단한 갈림조차도 학습에 실패하여, 구조적 인지 모듈의 필요성을 강조한다.
• 훈련된 물체 검출기를 액터-크리틱 아키텍처에 통합함으로써, 가려짐 상황에서도 효과적인 조작 학습이 가능해졌다.
• 갈림이 없는 환경에서 시작하는 커리큘럼 학습은 최종 성능을 크게 향상시켜 샘플 효율성에서 핵심적인 역할을 함을 입증했다.
• 보조 가시성 보상 추가 시 성능 향상 없음(68.4% ± 1.5%)을 보였으며, 최고 성능 설정(71.0% ± 2.2%) 대비 약간의 성공률 감소를 보여, 밀도 높은 보상이 정책 학습에 간섭할 수 있음을 시사한다.
• 학습된 정책의 시각화 결과, 에이전트가 물체가 실린더로 가려질 가능성이 있을 때 카메라를 사전에 이동하거나 장애물 위로 올려가며 가림을 피하는 등 능동적으로 행동하는 것을 확인할 수 있었다.