[논문 리뷰] A Perspective on Objects and Systematic Generalization in Model-Based RL

Sjoerd van Steenkiste, Klaus Greff외 1명|arXiv (Cornell University)|2019. 06. 03.

Semantic Web and Ontologies참고 문헌 39인용 수 15

한 줄 요약

이 논문은 모델 기반 강화학습(RL) 에이전트가 체계적 일반화와 샘플 효율성을 달성하기 위해 동적으로 구성된 물체 기반 세계 모델이 필요하다고 주장한다. 물체—모듈식이고 조합적이며 재사용 가능한 표현—는 표현, 분離, 조합 분야에 대해 타겟팅된 인덕티브 바이어스를 통해 명시적으로 통합되어야 하며, 그래프 네트워크와 메모리 증강 아키텍처는 동적이고 작업 기반 모델 구축을 가능하게 하는 유망한 프레임워크로 제안된다.

ABSTRACT

In order to meet the diverse challenges in solving many real-world problems, an intelligent agent has to be able to dynamically construct a model of its environment. Objects facilitate the modular reuse of prior knowledge and the combinatorial construction of such models. In this work, we argue that dynamically bound features (objects) do not simply emerge in connectionist models of the world. We identify several requirements that need to be fulfilled in overcoming this limitation and highlight corresponding inductive biases.

연구 동기 및 목표

• 모델 기반 RL에서 체계적으로 일반화하지 못하는 단일화된 비조합적 세계 모델의 한계를 해결하기 위해.
• 물체—동적으로 바인딩된 재사용 가능한 특징—가 지능형 에이전트에서 모듈식 지식 재사용과 조합적 일반화에 필수적이라고 주장하기 위해.
• 연결망 모델에 물체를 통합할 때의 세 핵심 과제인 표현, 분리(물체 발견), 조합(관계 추론)을 규명하고 강조하기 위해.
• 현재 딥 러닝 모델이 자연스럽게 물체를 생성하지 못하므로, 그들의 출현을 가능하게 하기 위해 명시적인 인덕티브 바이어스가 필요하다고 강조하기 위해.
• 주의, 메모리, 동적 모델 구축을 통합한 시스템을 통해 확장 가능하고 일반화 가능한 RL 에이전트를 구현하기 위해.

제안 방법

• 물체 표현이 구성적 추론과 제로샷 일반화를 지원하기 위해 보편적이며 다중 물체이고 공통 형식을 가져야 한다고 제안한다.
• 공유된 가중치를 사용하는 그래프 네트워크를 도입하여 물체를 노드로, 관계를 간선으로 간주함으로써 관계 추론을 가능하게 한다.
• 물체 상태에 대한 동적 계산을 지원하기 위해 메모리 증강 RNN 또는 패스트 웨이트를 제안하여 실시간으로 태스크 기반 모델을 구축할 수 있도록 한다.
• 비지도 또는 약한 지도 학습 기반의 물체 발견(분리)이 연결망 시스템에서 중요한데도 아직 개발이 부족한 과제임을 제안한다.
• 주의 메커니즘과 통합하여 관련 특징에 집중하는 계산을 가능하게 하고, 장기 지식 검색을 위한 메모리 시스템과 통합하여 모듈식이고 맥락 인지 가능한 추론을 가능하게 한다.
• 동적 바인딩—맥락에 따라 물체에 역할을 할당하는 것—은 고립된 구성 요소가 아니라 통합된 시스템 설계가 필요하다고 제안한다.

실험 결과

연구 질문

• RQ1 표준 연결망 모델에서 왜 물체가 자연스럽게 출현하지 못하며, 그들의 출현을 가능하게 하기 위해 어떤 인덕티브 바이어스가 필요한가?
• RQ2 어떻게 물체 표현이 최소한의 데이터로 다양한 작업 간에 체계적 일반화를 지원할 수 있는가?
• RQ3 실시간으로 물체를 동적으로 발견하고 바인딩할 때의 핵심 과제는 무엇이며, 어떻게 확장 가능한 방식으로 해결할 수 있는가?
• RQ4 관계적 또는 계층적 환경에서 조합적 일반화를 가능하게 하기 위해 물체는 어떻게 조합되어야 하는가?
• RQ5 메모리, 주의, 그래프 기반 계산은 물체를 사용해 동적이고 작업 기반 모델을 구축하는 데 어떤 역할을 하는가?

주요 결과

• 표준 딥 러닝 모델에서는 물체가 자연스럽게 출현하지 않으며, 표현, 분리, 조합 분야에 명시적인 인덕티브 바이어스가 필요로 한다.
• 공유된 가중치를 사용하는 메시지 전달 기능을 통해 물체 노드 간의 상호작용을 가능하게 하므로, 그래프 네트워크는 체계적 일반화를 지원하는 구성적 추론에 매우 유망한 프레임워크이다.
• 비지도로 관측된 데이터에서 물체를 발견하는 분리 문제—현재 시스템에서 가장 간과되고 어려운 구성 요소이다.
• 현재 물체 발견 접근법은 대부분 사전 처리, 지도 학습, 또는 설계된 생성 모델에 의존하여 실제 데이터에 대한 확장성과 일반화 능력을 제한한다.
• 물체를 메모리 및 주의 메커니즘과 통합하면 모듈식이고 맥락 인지 가능한 추론이 가능해지고 샘플 효율성과 전이 학습이 향상된다.
• 물체 표현, 동적 바인딩, 복합 모델의 피드백을 통합한 통합 시스템이 연결망 기반 RL에서 물체의 잠재력을 극대화하기 위해 필수적이다.