[논문 리뷰] Virtual-to-Real: Learning to Control in Visual Semantic Segmentation

Zhang-Wei Hong, Yumin Chen외 11명|arXiv (Cornell University)|2018. 02. 01.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 시뮬레이션 환경에서 시각적 인식과 제어 정책 학습을 분리하는 모odu lar 아키텍처를 제안하며, 현실 간격을 메우기 위해 의미적 이미지 세그멘테이션을 메타-대표로 사용한다. 인식과 강화학습 정책을 별도로 훈련하고, 세그멘테이션 표현을 실제 로봇 작업으로 이관함으로써, 도메인 랜덤화나 피팅 조정 없이도 더 빠른 학습과 뛰어난 제로샷 전이 능력을 갖춘 장애물 회피 및 목표 추적 성능을 달성한다.

ABSTRACT

Collecting training data from the physical world is usually time-consuming and even dangerous for fragile robots, and thus, recent advances in robot learning advocate the use of simulators as the training platform. Unfortunately, the reality gap between synthetic and real visual data prohibits direct migration of the models trained in virtual worlds to the real world. This paper proposes a modular architecture for tackling the virtual-to-real problem. The proposed architecture separates the learning model into a perception module and a control policy module, and uses semantic image segmentation as the meta representation for relating these two modules. The perception module translates the perceived RGB image to semantic image segmentation. The control policy module is implemented as a deep reinforcement learning agent, which performs actions based on the translated image segmentation. Our architecture is evaluated in an obstacle avoidance task and a target following task. Experimental results show that our architecture significantly outperforms all of the baseline methods in both virtual and real environments, and demonstrates a faster learning curve than them. We also present a detailed analysis for a variety of variant configurations, and validate the transferability of our modular architecture.

연구 동기 및 목표

• 모의 환경에서 학습된 정책가 실제 환경으로 일반화되지 못하는 비전 기반 로봇 제어의 현실 간격을 해소하기 위해.
• 실제 환경에서의 비용이 많이 드는 데이터 수집과 물리적 로봇에서의 위험한 시도-오류 학습에 의존도를 줄이기 위해.
• 도메인 랜덤화나 피팅 조정 없이도 가상 환경에서 실물 환경으로 정책을 효율적으로 제로샷 전이할 수 있도록 하기 위해.
• 다양하고 예측할 수 없는 환경 및 동적 목표 전환에 대해 강건하고 융통성 있게 대응할 수 있도록 하기 위해.

제안 방법

• 아키텍처는 RGB 이미지를 의미적 세그멘테이션 맵으로 변환하는 인식 모듈과, 이러한 세그멘테이션을 입력으로 사용해 딥 강화학습을 통해 훈련된 제어 정책 모듈으로 구성된다.
• 인식 모듈은 공개 데이터셋(예: ADE20K) 또는 합성 데이터에서 사전 훈련되며, 정책 모듈과 독립적으로 작동한다.
• 제어 정책 모듈은 의미적 세그멘테이션 입력을 기반으로 행동하는 A3C 기반 딥 강화학습 에이전트를 사용한다. 원시 픽셀이 아닌 세그멘테이션 입력을 사용한다.
• 이 방법은 도메인 랜덤화를 피하고, 실제 환경 데이터를 훈련에 사용하지 않으며, 도메인 간 일반화를 위해 의미적 메타-대표를 활용한다.
• 시간적 상관관계를 유지하기 위해 프레임 스택킹을 사용하여 정책 안정성과 목표 추적 성능을 향상시킨다.
• 시스템은 두 가지 과제에서 평가된다: 혼잡한 복도에서의 장애물 회피와 동적 목표 전환을 수반하는 목표 추적.

실험 결과

연구 질문

• RQ1 의미적 세그멘테이션을 메타-대표로 사용하는 모듈식 아키텍처가 시뮬레이션에서 실물 세계로 비전 기반 제어 정책을 효과적으로 제로샷 전이할 수 있는가?
• RQ2 도메인 랜덤화 및 엔드 투 엔드 훈련과 같은 기존 방법과 비교해 본다면, 본 방법은 학습 속도와 실제 환경 성능 측면에서 어떤가?
• RQ3 본 정책은 예측할 수 없는 환경과 물체 형태, 특히 동적 목표 전환에 얼마나 잘 일반화되는가?
• RQ4 세그멘테이션 품질과 레이블 복잡도(예: 축소되지 않은 클래스 레이블)의 변동에 대해 본 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 시뮬레이션에서 평균 보상 0.925를 기록하며 실제 환경에서 목표 추적 과제에서 90%의 성공률을 달성하여, 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 장애물 회피 과제에서, 축소된 레이블을 사용할 경우 실제 환경에서 충돌률이 0.7로 감소하여 기존 모델보다 높은 수준의 성능을 보였다.
• 비축소된 클래스 레이블(27개 클래스)을 사용했을 때도 강건한 성능을 보였으며, 축소된 레이블을 사용한 모델보다 충돌률이 낮은 0.7을 기록하여 더 나은 맥락 이해 능력을 보였다.
• 실제 환경에 대한 피팅 조정 없이도 다양한 실내 및 실외 환경으로의 일반화 능력이 뛰어나, 실물 배포에 있어 강력한 유연성을 보였다.
• 프레임 스택킹을 통해 시간적 상관관계를 유지함으로써 날카로운 커프에서의 목표 추적을 유지했으며, 기존 에이전트는 목표를 놓치거나 피하는 경향이 있었다.
• 모듈식 아키텍처는 동적 목표 전환(예: 사람에서 의자로 전환)을 가능하게 하여, 실제 환경 평가에서 80%의 성공률, 시뮬레이션 평가에서 90%의 성공률을 기록했다.