[論文レビュー] Learning Programmatically Structured Representations with Perceptor Gradients

Svetlin Penkov, Subramanian Ramamoorthy|arXiv (Cornell University)|May 2, 2019

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、エージェントのポリシーを、生の観測から記号的状態を抽出するニューラル・パーセプター・ネットワークと、記号を行動にマッピングするユーザー定義のタスクエンコードプログラムに分解することにより、記号的表現を学習するためのパーセプター勾配アルゴリズムを紹介する。この手法により、より高速かつ効率的な、転移可能で意味的に明確な表現の学習が可能となり、Cart-PoleおよびMinecraft風ナビゲーションタスクにおいて、ピクセル入力からLQRコントローラーとA*プランナの両方を成功裏に訓練した。

ABSTRACT

We present the perceptor gradients algorithm -- a novel approach to learning symbolic representations based on the idea of decomposing an agent's policy into i) a perceptor network extracting symbols from raw observation data and ii) a task encoding program which maps the input symbols to output actions. We show that the proposed algorithm is able to learn representations that can be directly fed into a Linear-Quadratic Regulator (LQR) or a general purpose A* planner. Our experimental results confirm that the perceptor gradients algorithm is able to efficiently learn transferable symbolic representations as well as generate new observations according to a semantically meaningful specification.

研究の動機と目的

• 計画や制御に意味的に明確な記号的表現を、ノイズの多い生観測から学ぶ課題に対処する。
• プログラム的インダクティブバイアスを表現学習に組み込むことで、データ駆動型ニューラルネットワークと記号的推論の溝を埋める。
• LQR や A* のような下流プランナに直接使える、効率的かつサンプル効率の良い表現の学習を可能にする。
• 前もって訓練されたパーセプターを再利用・適応させることで、継続的学習や転移学習を促進し、深刻な忘却を回避する。
• 記号的仕様から現実的で意味的に明確な観測を生成する能力を示すことで、意味的データ拡張を可能にする。

提案手法

• ポリシーを、生観測を記号的状態にマッピングするパーセプター・ネットワーク（ニューラル）と、記号を行動にマッピングするタスクエンコードプログラム（ユーザー提供）に分解する。
• 報酬信号をタスクエンコードプログラムのパフォーマンスから得るREINFORCE推定器を用いて、パーセプターをポリシー勾配で訓練する。
• プログラム的正則化を用いて潜在空間を構造化し、タスクプログラムに由来する意味的意味とインダクティブバイアスを埋め込む。
• 順伝播型および自己符号化型のパーセプターを適用し、ピクセル入力から分離可能で解釈可能な表現を学習する。
• 複数のパーセプター（例：ポーズと物体位置）をスタックして転移学習を可能にし、低い学習率で微調整することで深刻な忘却を防ぐ。
• 複数のパーセプターの結合潜在空間をデコードすることで、記号的仕様から空間的・意味的整合性を保った合成観測を生成する。

実験結果

リサーチクエスチョン

• RQ1 プログラム的タスク記述は、生観測からの記号的表現の学習におけるサンプル効率を向上させる有効なインダクティブバイアスとして機能するか？
• RQ2 提案されたパーセプター勾配手法は、LQR や A* のような古典的制御手法と直接互換性を持つ表現を学習できるか？
• RQ3 事前に訓練されたパーセプターは、深刻な忘却を伴わずに、新しいタスクにどの程度再利用・適応可能か？
• RQ4 学習された記号的表現は、記号的仕様から意味的に明確で現実的な観測を生成するために使用できるか？
• RQ5 分散性・独立性などの統計的制約と比較して、プログラム的正則化は表現品質および下流タスクパフォーマンスの向上にどの程度優れているか？

主な発見

• パーセプター勾配アルゴリズムは、標準的なポリシー勾配手法を著しく上回り、『木を収集する』タスクで3,000イテレーション未満で最適性能に到達した。
• この手法により、生ピクセル観測からカートポール状態の記号的表現が学習され、線形二次コントローラー（LQR）による効果的な制御が可能になった。
• パーセプター勾配を用いて学習された記号的表現は転移可能である：事前に訓練されたエージェントポーズ用パーセプターは、新たなナビゲーションおよびサーチタスクに成功裏に再利用され、微調整された。
• スタックされたパーセプターの結合潜在空間は意味的構造を保持しており、記号的仕様から現実的で遮蔽に配慮した画像の生成が可能である。
• 記号的入力から生成された観測は、わずかな方向性関連アーチファクトを除き、高い忠実度で元の画像を再構築した。
• タスクエンコードプログラムによるプログラム的正則化は、一般性と効果性に優れたインダクティブバイアスを提供し、一般化を向上させるとともに、記号的プランナとの直接統合を可能にした。