[논문 리뷰] Sim-Real Joint Reinforcement Transfer for 3D Indoor Navigation

Fengda Zhu, Linchao Zhu외 1명|arXiv (Cornell University)|2019. 04. 08.

Multimodal Machine Learning Applications참고 문헌 45인용 수 7

한 줄 요약

이 논문은 적대적 특징 적합과 정책 모방을 통해 합성 3D 실내 환경에서 실제 환경으로의 시각적 표현과 정책 행동을 동시에 적응시키는 공동 강화 전이(JRT) 프레임워크를 제안한다. 인간의 레이블이 없는 상태에서 파인튜닝 기반 방법보다 항법 성공률을 21.73% 향상시켜, 실제 환경 적용을 위한 도메인 적합과 정책 모방 간 상호 강화 효과를 입증한다.

ABSTRACT

There has been an increasing interest in 3D indoor navigation, where a robot in an environment moves to a target according to an instruction. To deploy a robot for navigation in the physical world, lots of training data is required to learn an effective policy. It is quite labour intensive to obtain sufficient real environment data for training robots while synthetic data is much easier to construct by rendering. Though it is promising to utilize the synthetic environments to facilitate navigation training in the real world, real environment are heterogeneous from synthetic environment in two aspects. First, the visual representation of the two environments have significant variances. Second, the houseplans of these two environments are quite different. Therefore two types of information, i.e. visual representation and policy behavior, need to be adapted in the reinforcement model. The learning procedure of visual representation and that of policy behavior are presumably reciprocal. We propose to jointly adapt visual representation and policy behavior to leverage the mutual impacts of environment and policy. Specifically, our method employs an adversarial feature adaptation model for visual representation transfer and a policy mimic strategy for policy behavior imitation. Experiment shows that our method outperforms the baseline by 19.47% without any additional human annotations.

연구 동기 및 목표

• 로봇의 3D 실내 항법을 위한 실제 환경 학습 데이터 부족 문제를 해결하기 위해.
• 시각적 외관과 레이아웃 구조에서 상이한 합성 환경과 실제 환경 간의 도메인 갭을 해소하기 위해.
• 일반화 및 실제 환경에서의 성능 향상을 위해 시각적 표현과 정책 행동을 공동으로 적응시키기 위해.
• 대규모 합성 환경에서의 지식을 활용하여 인간 레이블 데이터 의존도를 제거하기 위해.
• 적대적 특징 적합과 정책 모방이 전이 학습 과정에서 상호로 강화됨을 입증하기 위해.

제안 방법

• 합성 도메인과 실제 도메인 간의 시각적 특징을 정렬하기 위해 적대적 특징 적합을 통합하여 표현 공간 내 도메인 이동을 감소시킨다.
• 사전 학습된 합성 정책으로부터 실제 환경으로의 항법 행동을 전이하기 위해 정책 모방 전략을 활용한다.
• 시각적 표현과 정책 행동 간 상호 개선을 가능하게 하기 위해 두 적응 메커니즘을 공동 학습 프레임워크에 통합한다.
• 합성 특징를 실제 도메인 분포와 일치시키기 위한 매핑 함수를 훈련하기 위해 적대적 손실을 사용한다.
• 정책 모방을 감독하기 위해 미미 손실을 적용하여, 저데이터 실제 환경에서의 훈련 안정성과 과적합 방지를 도모한다.
• 특징 학습 시 의미 일관성을 유지하기 위해 아이덴티티 손실을 활용하여 객체 수준의 주의(예: 문, 벽)를 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적 표현과 정책 행동의 공동 적응이 3D 실내 항법에서 합성에서 실제 환경으로의 전이를 향상시키는가?
• RQ2 적대적 특징 적합이 실제 환경에서 도어와 같은 관련 항법 신호에 주의를 기울이는 능력에 어떤 영향을 미치는가?
• RQ3 정책 모방이 저데이터 실제 환경 시나리오에서 항법 행동의 안정성과 과적합을 어느 정도 감소시키는가?
• RQ4 아이덴티티 손실과 미미 손실이 전이 성능에 미치는 상대적 영향은 무엇인가?
• RQ5 공동 프레임워크가 추가 인간 레이블 없이도 표준 파인튜닝을 능가하는가?

주요 결과

• 제안된 JRT 프레임워크는 인간 레이블 데이터 없이도 파인튜닝 기반 기준보다 항법 성공률을 21.73% 향상시킨다.
• 제거 분석 결과, 미미 손실이 아이덴티티 손실보다 더 민감하며, 최적 값에서 벗어나면 성능이 급격히 저하됨을 확인했다.
• 시각적 주의 분석 결과, 적대적 적합과 아이덴티티 손실을 적용한 모델은 도어와 같은 의미 있는 특징에 집중하는 반면, 기준 모델은 산산이 흩어진 주의를 보이며 목표를 파악하지 못함을 확인했다.
• 정책 모방은 복잡한 실제 환경에서 안정적이고 탐색적인 항법 행동을 가능하게 하며, 이를 적용하지 않은 모델는 과적합으로 인해 비정상적이고 순환적인 움직임을 보임을 확인했다.
• 히트맵 시각화 결과, 공동 적응이 특징 학습을 향상시키며, 모델이 핵심 항법 객체를 구분하고 효과적으로 주의를 기울임을 확인했다.
• 시각적 도메인 적합과 정책 모방 간의 상호 강화는 개선된 중간 표현과 최종 항법 성능을 이끌어낸다.