[論文レビュー] Towards Lifelong Self-Supervision: A Deep Learning Direction for Robotics

Jay Ming Wong|arXiv (Cornell University)|Nov 1, 2016

Human Pose and Action Recognition参考文献 117被引用数 6

ひとこと要約

本論文は、深層学習と認知発達理論、制御理論を統合することで、タスクや環境をまたいで継続的に学習・改善できる自律的システムを実現する、生涯にわたる自己教師付きフレームワークを提案する。内発的動機付け、階層的ニューラルネットワーク、クローズドループ制御を用いることで、人間の介入なしに世界の表現や運動方針を時間とともに洗練させ、経験に基づく学習によって一般化性と適応性が向上する。

ABSTRACT

Despite outstanding success in vision amongst other domains, many of the recent deep learning approaches have evident drawbacks for robots. This manuscript surveys recent work in the literature that pertain to applying deep learning systems to the robotics domain, either as means of estimation or as a tool to resolve motor commands directly from raw percepts. These recent advances are only a piece to the puzzle. We suggest that deep learning as a tool alone is insufficient in building a unified framework to acquire general intelligence. For this reason, we complement our survey with insights from cognitive development and refer to ideas from classical control theory, producing an integrated direction for a lifelong learning architecture.

研究の動機と目的

• 現在の深層学習がタスク固有の手作業による特徴量に依存し、ドメインをまたいで一般化に失敗するという限界を是正すること。
• ロボットが余分な時間中に世界の表現や運動方針を継続的に改善できる生涯学習アーキテクチャを開発すること。
• 認知発達と古典的制御理論の知見を深層学習に統合し、内発的動機付けと構造的ブートストラップを支援すること。
• 共有表現と階層的学習を活用することで、新しいタスクや環境への一般化を実現すること。
• 生のセンサ入力からのエンドツーエンド学習を越えて、既存の運動プリミティブと制御構造を基盤として、生涯にわたる適応を可能にすること。

提案手法

• システムは、連続的な相互作用から複雑な運動行動と世界ダイナミクスの表現を学ぶために階層的深層ニューラルネットワークを用いる。
• 内発的動機付けは予測誤差によって実装され、報酬は予測された世界状態と実際の状態との差異に基づいて計算される。
• 2ストリームネットワークアーキテクチャが採用され、別々の価値関数と方策ネットワークを備えることで、学習の安定性を向上させ、転移学習を支援する。
• パラメータ化された制御器（制御基底式）が組み込まれ、異なるロボット形状や制御目的にわたる一般化を可能にする。
• 世界ダイナミクスは、状態の進化を自己教師付きで予測することでモデル化され、明示的な教師なしに物理的相互作用を学習可能になる。
• PintoとGupta（2016）が示したように、タスク間の表現共有を活用することで、関連するタスクで事前学習を行うことで、新しいタスクでの性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層学習は、孤立したタスクの実行を超えて、ロボットシステムにおける継続的・生涯にわたる学習をどのように拡張できるか？
• RQ2 予測誤差に基づく内発的動機付けは、自律的スキル習得と表現学習を促進する上で果たす役割は何か？
• RQ3 階層的深層学習アーキテクチャと制御理論をどのように組み合わせ、頑健で一般化可能な運動制御を実現できるか？
• RQ4 タスク間で共有される表現は、ロボット学習における一般化性の向上とサンプル複雑性の低減にどのように寄与するか？
• RQ5 生涯自己教師付き学習は、ロボットシステムにおける人為的特徴量や報酬の依存度を低下させることができるか？

主な発見

• タスク間の表現共有（例：つかみと押しの両方のタスクで学習）は、タスク固有の事前学習のみに比べ、ロボット操作における性能向上に寄与する。
• 内発的予測誤差を報酬信号として用いることで、外部の監視なしに世界ダイナミクスと運動方針の学習が自律的に行える。
• パラメータ化された制御器を備えた階層的深層学習は、異なるロボット形状や制御目的にわたる一般化を支援する。
• 生涯自己教師付き学習により、ロボットは余分な時間中に内部表現を洗練させ、制御パラメータを最適化でき、時間とともに耐性と性能が向上する。
• 深層学習と制御理論、認知発達の原則の統合により、自律システム学習のスケーラビリティと一般化性が向上するフレームワークが実現される。
• フレームワークは、タスクおよびロボット間の転移学習をサポートする。Devinら（2016）が示したように、モジュラー方策分解により、適応性が向上する。