[논문 리뷰] Building Machines that Learn and Think for Themselves: Commentary on Lake et al., Behavioral and Brain Sciences, 2017

Matthew Botvinick, David G. T. Barrett외 17명|arXiv (Cornell University)|2017. 11. 22.

Reinforcement Learning in Robotics참고 문헌 23인용 수 5

한 줄 요약

이 논평은 인간의 공학적 설계를 최소화하고 스스로 내부 모델을 학습하고 구성하는 자율적 AI 에이전트의 개발을 주장한다. 모델 기반 추론과 자기지도 학습의 중요성을 강조하며, 메타학습, 세계 모델 학습, 계층적 강화 학습 분야의 진전을 언급한다. 자율성은 사전에 정의된 형식적 모델을 초월해 실제 세계의 복잡성에 스케일링하기 위해 필수적이라고 주장한다.

ABSTRACT

We agree with Lake and colleagues on their list of key ingredients for building humanlike intelligence, including the idea that model-based reasoning is essential. However, we favor an approach that centers on one additional ingredient: autonomy. In particular, we aim toward agents that can both build and exploit their own internal models, with minimal human hand-engineering. We believe an approach centered on autonomous learning has the greatest chance of success as we scale toward real-world complexity, tackling domains for which ready-made formal models are not available. Here we survey several important examples of the progress that has been made toward building autonomous agents with humanlike abilities, and highlight some outstanding challenges.

연구 동기 및 목표

• 자기주도적인 모델 구축을 강조하여 인공지능의 인간 수준의 학습과 추론으로의 발전을 도모하기 위해.
• 에이전트가 내부 표현을 독립적으로 학습하고 활용할 수 있도록 함으로써 수동적 공학 모델에 대한 의존도를 줄이기 위해.
• 형식적 모델이 존재하지 않거나 설계하기에 비현실적인 실제 세계의 복잡성에 대응하기 위해.
• 메타학습, 세계 모델 학습, 계층적 강화 학습을 포함한 자율 학습 시스템의 진전을 조사하기 위해.
• 강력하고 일반화 가능한 지능으로 향한 자율 에이전트의 스케일링에 있어 핵심 과제를 규명하기 위해.

제안 방법

• 소수의 예제로도 빠르게 새로운 작업에 적응할 수 있도록 메타학습(소수의 학습)을 활용하여.
• 미래 상태와 결과를 시뮬레이션하는 예측 세계 모델을 통해 세계 모델 학습을 수행하여.
• 복잡한 작업을 다룰 수 있는 하위목표와 추상화된 정책으로 분해하기 위해 계층적 강화 학습을 적용하여.
• 비구조적 감각 데이터에서 구조적 표현을 추출하기 위해 자기지도 학습을 통합하여.
• 상호작용과 경험을 통해 내부 모델을 생성하고 개선할 수 있도록 에이전트를 설계하여.
• 자기주도 추론 시스템의 엔드 투 엔드 훈련을 가능하게 하기 위해 가분성 신경망과 가분성 세계 모델을 적용하여.

실험 결과

연구 질문

• RQ1 어떻게 AI 에이전트는 광범위한 인간의 감독 없이도 내부 모델을 자율적으로 구성하고 개선할 수 있는가?
• RQ2 어떤 메커니즘이 소수의 예제에서 새로운, 볼 수 없는 작업으로 일반화하는 데 기여하는가?
• RQ3 복잡한 환경에서 계층적이고 조합적인 추론을 엔드 투 엔드로 학습할 수 있는가?
• RQ4 예측 세계 모델링은 자율적이고 목표 지향적인 행동을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 고도로 복잡하고 불확실한 실제 도메인에서 자율 학습을 스케일링하는 데 있어 주요 제약은 무엇인가?

주요 결과

• 메타학습 접근법은 소수의 예제에서 일반화할 수 있게 해주며, 인간 수준의 소수 학습 능력을 보여준다.
• 세계 모델 학습은 보상이 희박한 환경에서도 미래 상태를 시뮬레이션하고 효과적으로 계획할 수 있도록 해준다.
• 계층적 강화 학습은 복잡한 작업을 하위목표로 분해함으로써 샘플 효율성과 확장성을 향상시킨다.
• 원시 감각 데이터에서 훈련된 자기지도 세계 모델은 추론과 계획에 유용한 구조적이고 분리된 표현을 포착할 수 있다.
• 엔드 투 엔드 가분성 모델로 훈련된 자율 에이전트는 복잡하고 동적인 환경에서 더 뛰어난 강건성과 적응성을 보였다.
• 진전이 있었음에도 불구하고, 형식적 모델이 없는 실제 도메인에서 신뢰할 수 있고 일반화 가능한 추론을 달성하는 데는 여전히 큰 과제가 남아 있다.