[논문 리뷰] From Machine Learning to Robotics: Challenges and Opportunities for Embodied Intelligence

Nicholas Roy, Ingmar Posner외 18명|arXiv (Cornell University)|2021. 10. 28.

Reinforcement Learning in Robotics참고 문헌 185인용 수 33

한 줄 요약

이 논문은 구현형 지능이 전통 ML과는 구별되는 학습 접근이 필요하다고 주장하며, 강건하고 안전하며 일반화 가능한 로봇 학습을 가능하게 하는 핵심 도전 과제, 귀납적 편향, 연구 방향을 개요한다. 또한 System 1과 System 2 추론을 연결하기 위해 이중 처리 인공장치(dual-process inspired) 아키텍처와 구성 표현을 활용하는 것을 시사한다.

ABSTRACT

Machine learning has long since become a keystone technology, accelerating science and applications in a broad range of domains. Consequently, the notion of applying learning methods to a particular problem set has become an established and valuable modus operandi to advance a particular field. In this article we argue that such an approach does not straightforwardly extended to robotics -- or to embodied intelligence more generally: systems which engage in a purposeful exchange of energy and information with a physical environment. In particular, the purview of embodied intelligent agents extends significantly beyond the typical considerations of main-stream machine learning approaches, which typically (i) do not consider operation under conditions significantly different from those encountered during training; (ii) do not consider the often substantial, long-lasting and potentially safety-critical nature of interactions during learning and deployment; (iii) do not require ready adaptation to novel tasks while at the same time (iv) effectively and efficiently curating and extending their models of the world through targeted and deliberate actions. In reality, therefore, these limitations result in learning-based systems which suffer from many of the same operational shortcomings as more traditional, engineering-based approaches when deployed on a robot outside a well defined, and often narrow operating envelope. Contrary to viewing embodied intelligence as another application domain for machine learning, here we argue that it is in fact a key driver for the advancement of machine learning technology. In this article our goal is to highlight challenges and opportunities that are specific to embodied intelligence and to propose research directions which may significantly advance the state-of-the-art in robot learning.

연구 동기 및 목표

• 구현형 지능을 물리적 환경과의 에너지-정보 교환으로 정의하고, 이것이 표준 ML 설정과 왜 다른지 동기를 제시한다.
• 구현형 에이전트의 학습에서의 핵심 도전 과제 식별: 안전성, 비정상성, 그리고 유한한 에너지 제약.
• 다양한 작업과 환경에 걸친 일반화를 지원하는 귀납적 편향과 아키텍처 원칙을 옹호한다.
• 핵심 지식, 계층적 추상화, 구성적 표현, 형태학 인지 학습을 포함한 연구 방향을 제안한다.
• 구현형 지능 시스템의 평가 및 검증 도전 과제에 대해 논의한다.

제안 방법

• 로봇공학, 기계학습, 인지과학 및 관련 분야의 관점을 검토하고 종합하여 구현형 학습 요구사항을 정의한다.
• 구현형 에이전트에 특화된 귀납적 편향을 특징짓고 이것이 아키텍처와 학습에 주는 함의를 논의한다.
• 빠르게 학습된 정책과 심사숙고된 계획을 결합하기 위한 설계도로서 Dual Process Theory에서 영감을 받은 프레이밍(System 1과 System 2)을 도입한다.
• 구성성, 인과관계 및 물리학에서 영감을 얻은 priors를 구조적 귀납 편향으로서의 역할을 탐구한다.
• 비정상적이고 실제 세계 환경에 대처하기 위해 메타러닝, 커리큘럼, 데이터 효율적 전략을 옹호한다.

실험 결과

연구 질문

• RQ1 무슨 귀납적 편향이 구현형 에이전트가 변화하는 작업과 환경에서도 효과적이고 견고하게 학습하도록 하는가?
• RQ2 구현형 지능의 아키텍처는 빠르고 반사적인 반응과 느리고 심사숙고하는 추론 사이의 균형을 어떻게 잡아야 하는가?
• RQ3 로봇공학에서 일반화와 데이터 효율성을 지원하는 표현 및 구성 구조는 무엇인가?
• RQ4 에이전트의 형태가 학습에 어떤 영향을 미치며 형태를 학습 파이프라인에 통합하는 효과적인 방법은 무엇인가?
• RQ5 비정상적이고 실제 세계 settings에서 작동하는 구현형 지능 시스템의 평가와 검증은 어떻게 수행할 수 있는가?

주요 결과

• 강건한 구현형 학습은 표준 ML 편향뿐만 아니라 행동과 지각에 연결된 귀납적 편향이 필요하다.
• Dual Process Theory는 빠르고 직관적인 정책과 느리고 심사숙고하는 추론·계획을 결합하는 아키텍처를 동기화한다.
• 구성적 표현과 인과성 인식 모델은 비정상적 환경에서 일반화를 위한 핵심 요소이다.
• 학습 아키텍처는 작업별 성능을 보존하면서 계산 요구를 관리하기 위해 다층 추상화를 통합해야 한다.
• 형태학(센서, 구동 장치, 에너지 제약)이 에이전트가 학습하고 수행할 수 있는 것에 큰 영향을 미치므로 통합 설계와 학습 접근이 필요하다.
• 구현형 학습자의 평가 및 검증은 원칙적 프레임워크를 필요로 하는 남은 도전 과제로 남아 있다.