[논문 리뷰] Learning and Planning with a Semantic Model

Yi Wu, Yuxin Wu외 4명|arXiv (Cornell University)|2018. 09. 28.

Multimodal Machine Learning Applications참고 문헌 31인용 수 11

한 줄 요약

LEAPS는 고수준 계획을 위한 경량이고 해석 가능한 베이지안 의미 모델과 저수준 시각적 제어를 위한 학습된 다중목표 하위정책을 결합한 하이브리드 모델기반 및 모델자유 강화학습 프레임워크를 제안한다. 이는 베이지안 추론을 통해 최소한의 경험으로 의미 모델을 동적으로 업데이트하고 의미 규칙성을 활용함으로써, 새로운 House3D 환경에서의 시각적 탐색에서 강력한 기준 모델을 능가하며, 특히 장수평 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

Building deep reinforcement learning agents that can generalize and adapt to unseen environments remains a fundamental challenge for AI. This paper describes progresses on this challenge in the context of man-made environments, which are visually diverse but contain intrinsic semantic regularities. We propose a hybrid model-based and model-free approach, LEArning and Planning with Semantics (LEAPS), consisting of a multi-target sub-policy that acts on visual inputs, and a Bayesian model over semantic structures. When placed in an unseen environment, the agent plans with the semantic model to make high-level decisions, proposes the next sub-target for the sub-policy to execute, and updates the semantic model based on new observations. We perform experiments in visual navigation tasks using House3D, a 3D environment that contains diverse human-designed indoor scenes with real-world objects. LEAPS outperforms strong baselines that do not explicitly plan using the semantic content.

연구 동기 및 목표

• 미리 보지 않은, 시각적으로 다양성이 큰 인공 환경에서 딥 강화학습 에이전트의 일반화 성능을 향상시키는 것.
• 모델자유 강화학습이 계획 중심 작업에서 겪는 한계와 고차원 관측 공간에서의 모델기반 강화학습의 한계를 해결하는 것.
• 실생활 실내 환경에서 공통되는 의미적 구조—예를 들어 방 기능과 물체 배치—를 활용하여 효과적인 계획 수립을 위한 것.
• 소수의 관측치로도 효율적으로 계획을 수행할 수 있도록 경량이고 해석 가능하며 동적으로 업데이트 가능한 의미 모델을 개발하는 것.
• 의미 수준의 계획이 장수평 시각적 탐색 작업에서 성능 향상에 크게 기여한다는 것을 입증하는 것.

제안 방법

• 프레임워크는 제1인칭 시각 입력에 기반해 기본 동작를 수행하는 모델자유 다중목표 하위정책을 포함한다.
• 환경의 구조적 사전 지식을 표현하기 위해, 이진 의미 신호(예: 방 유형, 물체 존재 여부 등)의 저차원 표현에 대해 베이지안 의미 모델을 학습한다.
• 학습 분포에서의 사전 지식으로 초기화된 의미 모델은 테스트 중 새로운 관측치를 통해 사후 추론을 이용해 업데이트된다.
• 고수준 의사결정은 의미 모델에 대한 계획을 통해 하위정책의 다음 하위목표를 선택함으로써 이루어진다.
• 베이즈의 정리에 따라 의미 모델은 점진적으로 업데이트되며, 이는 최소한의 탐색으로도 효율적인 적응을 가능하게 한다.
• 시스템은 하이브리드 아키텍처를 사용한다: 의미 모델은 계획을 위해, 시각 정책은 실행을 위해 사용되며, 양쪽 구성 요소에 공통된 의미 신호가 입력으로 사용된다.

실험 결과

연구 질문

• RQ1 의미적 구조를 사용하는 모델기반 계획 시스템이 새로운 3D 환경에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 장수평 탐색 작업에서, 경량이고 해석 가능한 의미 모델에 기반한 계획은 종단간 모델자유 또는 계층적 강화학습과 비교해 어떻게 성능을 내는가?
• RQ3 몇 차례의 관측치로도 의미 모델을 효율적으로 업데이트할 수 있는가, 이를 통해 효과적인 탐색이 가능할까?
• RQ4 원시 픽셀이 아닌 의미 신호를 사용할 경우, 시각적 탐색에서 샘플 효율성과 성능이 향상되는가?
• RQ5 의미 신호가 지식 기반 레이블이 아닌 신경망을 통해 추출될 경우, 프레임워크의 성능는 어떻게 되는가?

주요 결과

• LEAPS는 강력한 모델자유 기준 모델—예를 들어 의미 증강 정책과 LSTM 컨트롤러를 갖춘 HRL 에이전트—를 능가하며, 특히 장수평 작업에서 두각을 나타낸다.
• 목표 거리가 길어질수록 LEAPS가 기준 모델보다 성능 향상 비율이 크게 증가함으로써, 의미 수준 계획의 효과성을 입증한다.
• 지식 기반 레이블 대신 CNN 기반 의미 추출기를 사용하더라도 LEAPS는 높은 성능을 유지하며, 지식 기반 의미를 사용하는 기준 에이전트와 밀도 있게 유사한 성능을 달성한다.
• LEAPS의 의미 모델은 매우 효율적이며, LSTM 기반 컨트롤러의 10,000개 이상의 파라미터 대비 단 38개의 파라미터만을 사용하지만, 뛰어난 성능을 달성한다.
• LEAPS는 의미 모델의 사전 지식이 그대로 유지되고 사후 업데이트가 효율적이므로, 새로운 하위정책에 대해 최소한의 미세조정으로도 신속하게 적응할 수 있다.
• 무작위 미로에서는 프레임워크가 완전 탐색으로 떨어지므로, LEAPS의 성공은 실제 환경에서 의미 일관성에 기반한다는 점을 확인한다.