[論文レビュー] A disembodied developmental robotic agent called Samu Bátfai

Norbert Bátfai|arXiv (Cornell University)|Nov 9, 2015

Modular Robots and Swarm Intelligence被引用数 3

ひとこと要約

本稿では、深層Q学習とニューラルネットワーク関数近似を用い、強化学習によって自然言語会話の学習を行う、身体のない発達的ロボットエージェント「サム・バトファイ」を提示する。物語や対話の次の文を予測するためにSPO（主語-述語-目的語）トリプルを用い、アクション空間を縮小するためLZWツリー圧縮を活用することで、学習の大幅な向上を達成し、テキストベースの相互作用のみを用いた発達的ロボティクスの実現可能性を示すプロトタイプである。

ABSTRACT

The agent program, called Samu, is an experiment to build a disembodied DevRob (Developmental Robotics) chatter bot that can talk in a natural language like humans do. One of the main design feature is that Samu can be interacted with using only a character terminal. This is important not only for practical aspects of Turing test or Loebner prize, but also for the study of basic principles of Developmental Robotics. Our purpose is to create a rapid prototype of Q-learning with neural network approximators for Samu. We sketch out the early stages of the development process of this prototype, where Samu's task is to predict the next sentence of tales or conversations. The basic objective of this paper is to reach the same results using reinforcement learning with general function approximators that can be achieved by using the classical Q lookup table on small input samples. The paper is closed by an experiment that shows a significant improvement in Samu's learning when using LZW tree to narrow the number of possible Q-actions.

研究の動機と目的

• 強化学習を用いて自然言語理解と生成を学習可能な、身体のないチャットベースの発達的ロボットエージェントの開発。
• 制限付きのテキストオンative環境において、ニューラルネットワーク関数近似を用いた深層Q学習の迅速なプロトタイピングの実装。
• 関数近似とアクション空間の縮小技術が、発達的言語学習におけるサンプル効率をどのように向上させるかの調査。
• 視覚的・聴覚的モダリティを一切使用せず、純粋に言語入力のみで訓練可能な言語エージェントの可能性の探求。発達的ロボティクスの基本的原則の理解を目的とする。
• 自然言語コーパス上で強化学習を用いることで、初期児童の言語習得を模倣するスケーラブルで低リソースなシステムの構築。

提案手法

• エージェントは、入力テキストから抽出されたSPO（主語-述語-目的語）トリプルに基づき、会話や物語の次の文を予測する簡素化されたアーキテクチャを採用する。
• Q値関数の推定に多層パーセプトロンを関数近似器として用い、シーケンス予測に向けた深層強化学習を実現する。
• アクション空間の縮小にLZWツリーを用い、可能な次の文のアクション数を圧縮して減少させ、学習効率を向上させる。
• SARSAベースのQ学習アルゴリズムを適用し、予測された文と実際の入力文の一致度に基づいた報酬を設定することで、逐次的な対話や物語データからのオンライン学習を可能にする。
• 状態-行動ペアのインデックスに頻度テーブルを用い、状態は現在のSPOトリプルまたは文脈を表す。Q値は時系列差分学習を用いて更新する。
• エージェントは視覚的・聴覚的入力を一切受け取らず、文字端末でのみ動作するため、純粋に言語的発達的学習経路を強制する。

実験結果

リサーチクエスチョン

• RQ1 身体のない発達的ロボットエージェントは、純粋にテキストベースの相互作用と強化学習を用いて、自然言語シーケンスの予測を学習できるか？
• RQ2 教師なしで、ニューラルネットワーク関数近似を用いた深層Q学習は、自然言語生成の学習にどの程度有効か？
• RQ3 LZWツリーによるアクション空間の縮小は、言語予測タスクにおける学習速度と正確性をどの程度向上させるか？
• RQ4 純粋に言語的で身体のないエージェントは、2〜4歳児に類似した初期段階の言語発達を模倣できるか？
• RQ5 言語的意味の表現としてSPOトリプルを用いることで、強化学習フレームワーク内での一般化と学習がどの程度支援されるか？

主な発見

• LZWツリー圧縮の使用により、Qアクションの数が著しく削減され、予測タスクにおける収束速度が大幅に向上した。
• サムは、小規模データセットにおいて、従来のテーブルベースのQ学習と同等の結果を得られる、自然言語シーケンス予測のための深層Q学習とニューラルネットワーク近似の実装に成功した。
• 本システムは、視覚的・聴覚的入力が一切ない純粋なテキストベースの身体のないエージェントが、強化学習を用いて文の続きの予測を学習可能であることを示した。
• SPOトリプルのパレート的分布のおかげで、実際のメモリ使用量は管理可能であり、必要なパーセプトロン数が有効に削減された。
• 本プロトタイプは、標準PCでも再現可能であり、背後にある関数近似の複雑さを考慮しても、計算リソースの要件は低く抑えられている。
• エージェントの行動設計は、発達的ロボティクスの原則に整合しており、胎児期の学習フェーズやケアゲイバー主導の知識検証を含み、初期児童の言語習得を模倣している。