[論文レビュー] A disembodied developmental robotic agent called Samu B\'atfai

Norbert Bátfai|arXiv (Cornell University)|Nov 9, 2015

Modular Robots and Swarm Intelligence被引用数 1

ひとこと要約

本論文では、ニューラルネットワーク近似器を用いた強化学習による自然言語会話の学習を目的とした、身体を持たない発達的ロボットエージェント「Samu Bátfai」を提示する。SPO（主語-述語-目的語）トリプレットと、多層パーセプトロンを用いた簡素化されたQ学習アーキテクチャを用い、会話や物語の次の文を予測する。LZWツリーを用いたアクション空間の刈り込みにより学習効率が向上し、制限付きのテキスト専用環境における発達的ロボティクスの実用的プロトタイプを示している。

ABSTRACT

The agent program, called Samu, is an experiment to build a disembodied DevRob (Developmental Robotics) chatter bot that can talk in a natural language like humans do. One of the main design feature is that Samu can be interacted with using only a character terminal. This is important not only for practical aspects of Turing test or Loebner prize, but also for the study of basic principles of Developmental Robotics. Our purpose is to create a rapid prototype of Q-learning with neural network approximators for Samu. We sketch out the early stages of the development process of this prototype, where Samu's task is to predict the next sentence of tales or conversations. The basic objective of this paper is to reach the same results using reinforcement learning with general function approximators that can be achieved by using the classical Q lookup table on small input samples. The paper is closed by an experiment that shows a significant improvement in Samu's learning when using LZW tree to narrow the number of possible Q-actions.

研究の動機と目的

• 強化学習を用いて自然言語会話の学習を行う、迅速なプロトタイピングを目的とした発達的ロボットエージェントの開発。
• 表形式のQ学習が小規模な言語予測タスクにおいて、ニューラルネットワーク関数近似器を用いたQ学習がどのように再現可能かを検討する。
• LZWツリーを用いたアクション空間の縮小が、発達的NLPエージェントにおける学習効率に与える影響を調査する。
• 子供のような、家族との対話によって進化するチャットボットの基盤を構築する。

提案手法

• エージェントは、リンク文法に基づく簡素化されたNLPパイプラインを用いて、入力テキストをSPO（主語-述語-目的語）トリプレットに変換する。
• 多層パーセプトロン（MLP）を用いたQ学習フレームワークがQ関数を近似し、シーケンス予測のためのディープ強化学習を可能にする。
• SARSA学習と経験再生、誤差逆伝播を用いて、文の再構築精度に基づく報酬信号に応じてQ値予測を更新する。
• LZWツリーを用いてアクション空間を圧縮・インデックス化し、候補アクションの数を削減し、学習速度を向上させる。
• 視覚的イメージは、2次元ゲーム状態を模倣する文字ベースのコンsolディスプレイによってシミュレートされる。
• エージェントはテキスト専用インターフェースで動作し、文字端末を介してのみ通信するため、言語的コンテンツに限定された焦点が保たれる。

実験結果

リサーチクエスチョン

• RQ1 発達的ロボットエージェントは、テキスト専用環境において、ニューラルネットワーク関数近似器を用いたディープQ学習を用いて、自然言語シーケンスを予測できるか？
• RQ2 LZWツリーによるアクション空間の刈り込みは、Q学習エージェントの学習効率および収束速度にどのように影響するか？
• RQ3 視覚的・聴覚的モダリティが欠落した状況下でも、SPOトリプレット表現が意味的な言語理解と予測をどの程度可能にするか？
• RQ4 単純なルールベースのNLPパイプラインと強化学習を組み合わせることで、発達的ロボットエージェントにおいて人間のような会話行動を達成できるか？
• RQ5 家族による監視付きの対話と経験の蓄積を通じて認知的に成長するチャットボットは、どのように設計できるか？

主な発見

• LZWツリーを用いたアクション空間の圧縮・インデックス化は、候補アクション数の削減により、学習パフォーマンスの顕著な向上をもたらした。
• プロトタイプは、ディープQ学習にMLP近似器を用いることで、小規模な言語予測タスクにおいて古典的表形式Q学習と同等の結果を達成できることを実証した。
• システムは、テキスト専用の文字ベースインターフェースにおいて安定した学習と予測を達成し、発達的ロボティクス実験の実現可能性を裏付けた。
• モデルのメモリフットプリントは、最悪ケースでは1パーセプトロンあたり最大40 MBに達するが、SPOトリプレットの非一様分布（パレート型に近い分布）のおかげで緩和された。
• エージェントのアーキテクチャは、記号処理（トリプレット）からニューラル関数近似への移行を可能とし、スケーラブルな言語学習を可能にする。
• プロトタイプは標準的なハードウェアでも正常に実装されたため、本アプローチは再現可能であり、高性能コンピューティングリソースを必要としないことが示された。