[논문 리뷰] World Discovery Models

Mohammad Gheshlaghi Azar, Bilal Piot외 4명|arXiv (Cornell University)|2019. 02. 20.

Neural Networks and Applications참고 문헌 55인용 수 12

한 줄 요약

이 논문은 부분 관찰 가능하고 확률적인 환경에서 차별 정보 수확을 최적화하여 자신의 세계를 탐색하는 자기지도 강화학습 에이전트인 NDIGO를 소개한다. 새로운 관측이 미래 예측 정확도를 얼마나 향상시키는지 측정함으로써, NDIGO는 잡음이 있는 환경에서 특히 정확한 세계 표현을 학습하는 데 있어 기존의 과도한 탐색 기반 방법들을 능가하며, 무작위 패턴에 속지 않고 숨겨진 물체를 성공적으로 탐지한다.

ABSTRACT

As humans we are driven by a strong desire for seeking novelty in our world. Also upon observing a novel pattern we are capable of refining our understanding of the world based on the new information---humans can discover their world. The outstanding ability of the human mind for discovery has led to many breakthroughs in science, art and technology. Here we investigate the possibility of building an agent capable of discovering its world using the modern AI technology. In particular we introduce NDIGO, Neural Differential Information Gain Optimisation, a self-supervised discovery model that aims at seeking new information to construct a global view of its world from partial and noisy observations. Our experiments on some controlled 2-D navigation tasks show that NDIGO outperforms state-of-the-art information-seeking methods in terms of the quality of the learned representation. The improvement in performance is particularly significant in the presence of white or structured noise where other information-seeking methods follow the noise instead of discovering their world.

연구 동기 및 목표

• 외부 보상에 의존하지 않고 부분 관찰 가능하고 확률적인 환경에서 자신의 세계를 탐지할 수 있는 자기지도 에이전트를 개발하는 것.
• 기존의 과도한 탐색 기반 에이전트가 종종 잡음이나 무작위 패턴에 혼란을 겪고 의미 있는 세계 구조를 탐지하지 못하는 한계를 해결하는 것.
• 과제 해결 성공률이 아니라 내부 세계 표현의 질을 평가하기 위해 물체 위치 예측의 백박스 평가를 통해 탐지 성능을 평가하는 것.
• 미래 관측 예측 오차 감소를 기반으로 한 내재적 보상 메커니즘을 설계하여, 새로운 영역으로의 탐색을 유도하고 장기적인 기억 통합을 가능하게 하는 것.

제안 방법

• NDIGO는 현재 관측을 볼 수 있는 모델과 볼 수 없는 모델 간의 예측 손실 차이를 내재적 보상으로 계산하여, 새로운 정보가 미래 예측 정확도를 얼마나 향상시키는지 측정한다.
• 과거 관측의 시계열을 기반으로 미래 관측을 예측하기 위한 신경망을 사용하며, 최신 관측을 포함할 경우 예측 오차가 얼마나 감소하는지에 따라 보상을 계산한다.
• 이 내재적 보상은 최신 강화학습 알고리즘(예: IMPALA)을 통해 정책을 학습시켜 에이전트가 새로운 세계 구조를 탐색하고 탐지하도록 한다.
• 예측 손실의 차감으로 인해 개선이 불가능한 오차가 상쇄되기 때문에, 이 방법은 잡음에 대해 강건하며, 따라서 임의의 또는 구조적 잡음에 유혹되지 않는다.
• 내부 상태에서 고정 및 이동 가능한 물체의 위치를 얼마나 정확히 예측하는지 측정함으로써 세계 표현을 유리하게 평가하는 백박스 방법을 사용한다.

실험 결과

연구 질문

• RQ1 외부 보상 없이 부분 관찰 가능한 2차원 환경에서 에이전트가 숨겨진 물체를 탐지할 수 있는가?
• RQ2 NDIGO에서 제안한 정보 수확 메커니즘이 잡음이 있거나 구조적인 환경에서 기존의 과도한 탐색 기반 방법보다 우수한가?
• RQ3 에이전트는 새로운 관측을 통합하면서도 이전 지식을 잊지 않고 일관되고 전체적인 세계 모델을 유지하고 갱신할 수 있는가?
• RQ4 차별 예측 오차 기반 내재적 보상은 높은 정보 수확을 가진 관측되지 않은 영역으로의 탐색을 효과적으로 이끌 수 있는가?

주요 결과

• 화이트 노이즈 또는 구조적 노이즈가 있는 환경에서, NDIGO-4는 방향성 없는 브라운 운동에 영향을 받지 않고 고정 물체를 탐지했으며, ICM 및 기타 NDIGO 변종은 노이즈에 끌려가 성공하지 못했다.
• 외부 보상이 없는 복잡한 미로 환경에서, NDIGO-1과 NDIGO-2는 가장 많은 방을 탐색하고 최종 고정 물체를 탐지했으며, 다른 에이전트는 노이즈 물체에 머물러 더 이상 진행되지 못했다.
• NDIGO-1은 모든 방에서 가장 낮은 탐지 손실을 기록하여 뛰어난 세계 표현 품질을 보였고, 미로를 탐색한 후 유일하게 방 2의 마지막 파란 고정 물체를 탐지했다.
• 에이전트의 내부 표현은 상향 시점 스냅샷과 예측된 세계 시각화를 통해 물체 위치를 정확하게 예측했으며, 이는 일관된 전체 모델이 구축되었음을 확인한다.
• 백박스 평가 결과, NDIGO의 내부 상태는 물체 위치를 높은 정확도로 예측할 수 있었으며, 효과적인 세계 모델 학습이 이루어졌음을 입증한다.