[論文レビュー] SERKET: An Architecture for Connecting Stochastic Models to Realize a Large-Scale Cognitive Model

Tomoaki Nakamura, Takayuki Nagai+1 more|arXiv (Cornell University)|Dec 4, 2017

Reinforcement Learning in Robotics参考文献 3被引用数 5

ひとこと要約

本稿では、プログラム的独立性を保ちながら、より小さなベイジアンモデルを接続することで大規模な認知モデルの構築と一括パラメータ最適化を可能にするモジュラな確率的フレームワーク、Serketを提案する。モジュール間で最小十分統計量のみを通信することで、複雑な階層的生成モデルにおけるパラメータ推定を簡素化し、マルチモーダルロボットデータを用いた概念および言語習得タスクにおいて、元のモノリシックモデルと同等の性能を示した。

ABSTRACT

To realize human-like robot intelligence, a large-scale cognitive architecture is required for robots to understand the environment through a variety of sensors with which they are equipped. In this paper, we propose a novel framework named Serket that enables the construction of a large-scale generative model and its inference easily by connecting sub-modules to allow the robots to acquire various capabilities through interaction with their environments and others. We consider that large-scale cognitive models can be constructed by connecting smaller fundamental models hierarchically while maintaining their programmatic independence. Moreover, connected modules are dependent on each other, and parameters are required to be optimized as a whole. Conventionally, the equations for parameter estimation have to be derived and implemented depending on the models. However, it becomes harder to derive and implement those of a larger scale model. To solve these problems, in this paper, we propose a method for parameter estimation by communicating the minimal parameters between various modules while maintaining their programmatic independence. Therefore, Serket makes it easy to construct large-scale models and estimate their parameters via the connection of modules. Experimental results demonstrated that the model can be constructed by connecting modules, the parameters can be optimized as a whole, and they are comparable with the original models that we have proposed.

研究の動機と目的

• より小さな独立したベイジアンモデルを接続することで、大規模な認知モデルの構築と最適化の難しさに対処すること。
• モジュラな認知アーキテクチャを組み立てる際、複雑なパラメータ推定式を導出・実装するという課題を克服すること。
• マルチモーダルセンサデータとの相互作用を通じて、ロボットが概念、言語、運動スキルをスケーラブルかつモジュラなフレームワークで学習できること。
• 全体のモデル構造全体にわたるパラメータの一括最適化を可能にしつつ、モジュールのプログラム的独立性を維持すること。

提案手法

• Serketは、各コンponentが独立した実装を持つ基本的なベイジアンモデルであるモジュラアーキテクチャとして設計されている。
• プログラム的独立性を保つために、モジュール間は最小十分統計量（例：度数、ディリクレ分布やピットマン＝ヨア過程の十分統計量）のみを通信する。
• パラメータ推定は、接続されたモジュール全体で最小統計量を集約することで一括して実行され、各複合モデルごとに複雑な式を再導出する必要がなくなる。
• フレームワークは、マルチモーダルオブジェクト認識、言語習得、モーションセグメンテーションなどの階層的合成をサポートする。
• ブロック化ギブスサンプリングと動的計画法を活用し、ネストされたピットマン＝ヨア言語モデルにおける効率的な推論を実現する。
• 視覚、触覚、聴覚、運動、言語的モダリティを統合した包括的な生成モデルとして、概念と言語の出現を統合的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 より小さな独立したベイジアンモデルから大規模な認知モデルを構築する際、モularityとプログラム的独立性を維持しながらどのように実現できるか？
• RQ2 パラメータ推定式の再導出を避けながら、一括最適化を実現するためにモジュール間で交換すべき最小限の情報は何か？
• RQ3 Serketのようなモジュラフレームワークは、概念および言語習得といった複雑な認知タスクにおいて、モノリシックモデルと同等の性能を達成できるか？
• RQ4 Serketは、視覚、触覚、聴覚、運動、言語的マルチモーダルセンサデータを統合的な生成モデルで効果的に処理できるか？
• RQ5 フレームワークは、より複雑な認知能力を実現するための階層的モデル合成をサポートできるか？

主な発見

• Serketは、パラメータ推定式のモノリシック再実装を必要とせず、より小さな独立したベイジアンモジュールを接続することで大規模な認知モデルの構築を成功裏に実現した。
• 最小十分統計量の交換のみでモジュール間のパラメータ一括最適化を達成し、実装の複雑さを顕著に低減した。
• 実験結果から、Serketを用いて構築されたモジュラモデルが、概念および言語習得タスクにおいて元の単体モデルと同等の性能を示した。
• システムは視覚（DSIFTヒストグラム）、触覚（15次元）、聴覚（MFCC、13次元）、運動（70次元）、言語的（NPYLM）といったマルチモーダルデータを、単一の生成モデルに効果的に統合した。
• ブロック化ギブスサンプリングを用いたネストされたピットマン＝ヨア言語モデルにより、事前の語彙定義なしに効率的な語彙分割と言語モデリングが可能になった。
• 共有され最適化されたパラメータを有するモデルの段階的合成を可能にすることで、スケーラブルかつ階層的な認知モデリングを実現した。