[論文レビュー] From Machine Learning to Robotics: Challenges and Opportunities for Embodied Intelligence

Nicholas Roy, Ingmar Posner+18 more|arXiv (Cornell University)|Oct 28, 2021

Reinforcement Learning in Robotics参考文献 185被引用数 33

ひとこと要約

この論文は、具現化された知性には従来のMLとは異なる学習アプローチが必要であり、堅牢で安全かつ一般化可能なロボット学習を実現するための主要な課題・帰納的バイアス・研究方向を概説する。 また、System 1とSystem 2の推論を橋渡すために、デュアルプロセスに着想を得たアーキテクチャと構成的表現の活用を提案する。

ABSTRACT

Machine learning has long since become a keystone technology, accelerating science and applications in a broad range of domains. Consequently, the notion of applying learning methods to a particular problem set has become an established and valuable modus operandi to advance a particular field. In this article we argue that such an approach does not straightforwardly extended to robotics -- or to embodied intelligence more generally: systems which engage in a purposeful exchange of energy and information with a physical environment. In particular, the purview of embodied intelligent agents extends significantly beyond the typical considerations of main-stream machine learning approaches, which typically (i) do not consider operation under conditions significantly different from those encountered during training; (ii) do not consider the often substantial, long-lasting and potentially safety-critical nature of interactions during learning and deployment; (iii) do not require ready adaptation to novel tasks while at the same time (iv) effectively and efficiently curating and extending their models of the world through targeted and deliberate actions. In reality, therefore, these limitations result in learning-based systems which suffer from many of the same operational shortcomings as more traditional, engineering-based approaches when deployed on a robot outside a well defined, and often narrow operating envelope. Contrary to viewing embodied intelligence as another application domain for machine learning, here we argue that it is in fact a key driver for the advancement of machine learning technology. In this article our goal is to highlight challenges and opportunities that are specific to embodied intelligence and to propose research directions which may significantly advance the state-of-the-art in robot learning.

研究の動機と目的

• 具現化された知性を、物理的環境とのエネルギーと情報の交換として定義し、それが標準的なML設定とはなぜ異なるのかを動機づける。
• 安全性、非定常性、有限のエネルギー制約を含む、具現化されたエージェントの学習における中心的な課題を特定する。
• タスクや環境を跨ぐ一般化を支援する帰納的バイアスと設計原理を主張する。
• コア知識、階層的抽象、構成的表現、形態感知学習などを含む研究方向を提案する。
• 具現化された知能システムの評価と検証の課題について論じる。

提案手法

• ロボティクス、機械学習、認知科学、および関連分野の見解をレビュー・統合して、具現化学習の要件を定義する。
• 具現化されたエージェントに特有の帰納的バイアスを特徴づけ、それらがアーキテクチャと学習に与える影響を論じる。
• デュアルプロセス理論に着想を得た枠組み（System 1 と System 2）を、迅速な学習ポリシーと熟考的計画を組み合わせる設計図として導入する。
• 構成、因果性、物理に着想を得た先験的知識を、構造的帰納的バイアスとしての役割を探る。
• 非定常で現実世界の環境に対処するためのメタ学習、カリキュラム、データ効率的戦略を提唱する。

実験結果

リサーチクエスチョン

• RQ1 変化するタスクと環境にわたって、具現化されたエージェントが効果的かつ堅牢に学習するのを可能にする帰納的バイアスは何か？
• RQ2 具現化された知性のためのアーキテクチャは、速い反射的な応答とゆっくりとした熟慮的推論をどのようにバランスさせるべきか？
• RQ3 ロボティクスにおける一般化とデータ効率を支える表現と構成的構造は何か？
• RQ4 エージェントの形態は学習にどのような影響を与えるか、形態を学習パイプラインに統合する効果的な方法は何か？
• RQ5 非定常な現実世界の設定で動作する具現化された知能システムをどのように評価・検証できるか？

主な発見

• 堅牢な具現化学習には、行動と知覚に結びついた帰納的バイアスが必要で、標準的なML先行推定だけでは足りない。
• デュアルプロセス理論は、迅速で直感的なポリシーと、より遅い熟慮的推論と計画を組み合わせるアーキテクチャを動機づける。
• 構成的表現と因果性を考慮したモデルは、非定常環境での一般化にとって重要である。
• 学習アーキテクチャは、課題固有の性能を維持しつつ計算要求を管理するために、複数レベルの抽象化を統合すべきである。
• 形態論（センサ、アクチュエータ、エネルギー制約）は、エージェントが学習し行えることを大きく左右し、統合設計と学習アプローチを必要とする。
• 具現化学習者の評価と検証は未解決の課題であり、原理的なフレームワークを必要とする。