[論文レビュー] Potentials and Limitations of Deep Neural Networks for Cognitive Robots

Doreen Jirak, Stefan Wermter|arXiv (Cornell University)|May 2, 2018

Neural Networks and Reservoir Computing参考文献 21被引用数 3

ひとこと要約

この論文は、認知ロボティクスにおける深層ニューラルネットワーク（DNNs）とリザボア・コンピューティング（RC）を評価し、DNNsが視覚や音声の知覚的表現において優れた性能を発揮する一方で、生涯学習や現実世界の変動に対するロバスト性、時間的モデリングに欠けることから、RNNの軽量でロバストな代替手法としてRCの有効性を主張している。DNNsとRCの統合により、ロボットの知覚と制御におけるスケーラブルで適応可能な認知システムの実現が可能になると示唆している。

ABSTRACT

Although Deep Neural Networks reached remarkable performance on several benchmarks and even gained scientific publicity, they are not able to address the concept of cognition as a whole. In this paper, we argue that those architectures are potentially interesting for cognitive robots regarding their perceptual representation power for audio and vision data. Then, we identify crucial settings for cognitive robotics where deep neural networks have as yet only contributed little compared to the challenges in cognitive robotics. Finally, we argue that the rather unexplored area of Reservoir Computing qualifies to be an integral part of sequential learning in this context.

研究の動機と目的

• 認知ロボティクスにおける深層ニューラルネットワーク（DNNs）の適性を、特に現実世界の条件下における知覚と学習の観点から評価すること。
• DNNsの主な制限要因を特定すること、具体的には大規模なラベル付きデータセットに依存すること、分布外データ（例：子供の発話）への一般化能力の低さ、および生涯学習や記憶メカニズムの欠如。
• リザボア・コンピューティング（RC）を、ロボットにおける時間的系列学習の有望な代替手法として探求すること。RCは誤差逆伝播を用いず、高速かつロバストな学習が可能である。
• DNNsの訓練課題を克服し、スケーラブルで適応可能な認知システムを実現するため、RCとDNNsを統合することを提唱すること。
• 神経科学、発達心理学、機械学習を結ぶ国際的共同研究を促進し、次世代の認知ロボットの設計に貢献すること。

提案手法

• ImageNet や音声データセットなどのベンチマークを用いて、画像認識や音声認識といった知覚的タスクにおけるDNNsの評価。
• 教師ありDNNsの現実世界におけるロボティクス応用における制限の分析、特に分布シフトへの感受性とオンライン適応の欠如。
• オープンセット学習とラベルの柔軟性を実現するためのトランスファーラーニングおよび成長する必要に応じて成長するネットワーク（GWR）の戦略を提案。
• エコー状態ネットワーク（ESNs）とリキッド・ステート・マシン（LSMs）によるリザボア・コンピューティング（RC）の導入。ここで、リザボアはランダムに接続され固定され、学習は出力層のみが対象となる。
• 特徴抽出にDNNsを、時間的モデリングにESNsを用いる統合手法を実装し、ジェスチャー認識や言語習得タスクで有効性を示した。
• DNNsの強力な特徴学習能力とRCの効率的かつ安定した系列処理能力を活かすために、RCとDNNsを統合する手法を提唱。ロボット制御やナビゲーションに応用。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク（DNNs）は、現実世界の動的条件下で認知ロボットの知覚的表現をどの程度サポートできるか？
• RQ2 DNNsは、ImageNet などのベンチマークで高い性能を示す一方で、子供の発話やノイズの多い音声といった分布外データへの一般化に失敗するのはなぜか？
• RQ3 リザボア・コンピューティング（RC）は、認知ロボティクスにおける系列学習の分野で、従来のRNNの代替としてよりロバストで効率的な手法となり得るか？
• RQ4 DNNsとリザボア・コンピューティング（RC）を効果的に統合することで、ロボットにおける生涯的で適応的な学習を実現できるか？
• RQ5 発達心理学および神経科学の原則は、ロボットのより認知的に妥当な学習システムの設計に、どのような役割を果たすか？

主な発見

• DNNsはImageNet などの標準ベンチマークで高い性能を発揮するが、子供の発話やノイズの多い音声といった現実世界のデータ変動には、大規模なラベル付きデータセットに依存するがゆえに苦労する。
• DNNsはオンライン学習、記憶、継続的適応のメカニズムを欠いており、ロボットにおける生涯的発達的学習には不適切である。
• リザボア・コンピューティング（RC）、特にエコー状態ネットワーク（ESNs）は、出力層のみを学習することで、誤差勾配の消失・爆発問題を回避し、計算的に効率的なRNNの代替となる。
• DNNsによる特徴抽出とESNsによる時間的モデリングを統合することで、ジェスチャー認識や言語習得タスクで優れた性能が得られ、両者のパラダイムに相乗効果が見られた。
• ESNsのようなRCフレームワークは、ロボットのナビゲーション、歩行制御、言語理解分野においても有望であるが、現状では応用が限定的で未だ十分に探求されていない。
• ESNsにおける「安定性の縁」の概念は、カオス的計算の理論的仮説と性能最適化を統合する可能性を秘めており、認知タスクに適したネットワーク設計をより効果的に可能にする。