[論文レビュー] Injecting Prior Knowledge for Transfer Learning into Reinforcement Learning Algorithms using Logic Tensor Networks

Samy Badreddine, Michael Spranger|arXiv (Cornell University)|Jun 15, 2019

Reinforcement Learning in Robotics参考文献 15被引用数 8

ひとこと要約

本論文は、深層ニューラルネットワークに根ざした第一階論理の事前知識——論理的テンソルネットワーク（LTN）を介して——を深層強化学習（DRL）エージェントに統合することで、より高速で転送性の高い学習を実現することを提案する。画像入力と記号的 fact（例：オブジェクトの種別、意味的役割）を同時に処理することで、エージェントは事前知識を動的に活用するよう学習し、シナリオ変更に伴う再訓練の必要を著しく削減するとともに、一般化性能を向上させる。特に、オブジェクトの意味的性質に関する導出された fact を含む事前知識がある場合に顕著である。

ABSTRACT

Human ability at solving complex tasks is helped by priors on object and event semantics of their environment. This paper investigates the use of similar prior knowledge for transfer learning in Reinforcement Learning agents. In particular, the paper proposes to use a first-order-logic language grounded in deep neural networks to represent facts about objects and their semantics in the real world. Facts are provided as background knowledge a priori to learning a policy for how to act in the world. The priors are injected with the conventional input in a single agent architecture. As proof-of-concept, the paper tests the system in simple experiments that show the importance of symbolic abstraction and flexible fact derivation. The paper shows that the proposed system can learn to take advantage of both the symbolic layer and the image layer in a single decision selection module.

研究の動機と目的

• 人為的に提供された記号的事前知識を統合することで、深層強化学習におけるサンプル効率と転移学習を向上させること。
• 第一階論理の事実をニューラルネットワークに埋め込むことで、タスクや環境の変化に伴う方策の一般化がどのように向上するかを調査すること。
• 記号的抽象化と柔軟な fact 衍出が、単一の意思決定モジュール内で、知覚と併せて同時に学習可能であることを示すこと。
• 変化する環境における探索と学習の安定性に、事前知識（特に導出された fact）が与える影響を評価すること。
• 探索ハイパーパramータ（例：ε）が、知識統合型 RL システムにおける役割を調査すること。

提案手法

• 論理的テンソルネットワーク（LTN）を用いて、第一階論理の事実（例：'x は敵である'、'y は鍵である'）を深層ニューラルネットワークに表現・埋め込む。
• 記号的事前知識を DRL エージェントの入力ストリームに直接統合し、ピクセルと記号的 fact の両方からの共同学習を可能にする。
• 微分可能論理フレームワークを採用することで、記号的知識が方策学習に影響を与えるエンドツーエンド学習を可能にする。
• DQN を用いたエージェントを、オブジェクトの色や意味的役割が変化するグリッドワールド環境に適用し、転送性をテストする。
• オブジェクト種別事前知識と意味的 fact 事前知識（例：'敵は避けるべき'）を併用して、知識の活用度を評価する。
• ε-探索のリセット有無でエージェントを訓練し、探索戦略が知識転送に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークに根ざした記号的事前知識が、DRL におけるサンプル効率と転移学習を向上させられるか？
• RQ2 導出された意味的 fact（例：'敵は避けるべき'）の含め方が、環境変更に伴う一般化にどのように影響するか？
• RQ3 記号的および知覚的入力を一つのモジュールに統合することで、エージェントが事前知識を効果的に選択的に使用できるよう学習できるか？
• RQ4 探索戦略（例：ε-リセット）の選択が、知識統合型の転移学習における事前知識とどのように相互作用するか？
• RQ5 タスクの意味的性質が変化した際に、エージェントが原始的なピクセルパターンではなく、記号的抽象化に依存するよう学習できるか？

主な発見

• 記号的事前知識、特に意味的 fact の含め方が、シナリオ変更時のパフォーマンス低下を軽減し、より高い転送性を示した。
• オブジェクト種別と fact 基盤の両方の事前知識を持つエージェントは、オブジェクトの色が変化しても、より速く学習し、環境シフトに対しても高いパフォーマンスを維持した。
• 各シナリオ変更におけるパフォーマンス劣化が時間とともに減少し、エージェントが記号的知識を用いて一般化していることが示された。
• ε のリセットは知識統合型エージェントのパフォーマンスを悪化させた。これは、知識転送を学習したエージェントでは、探索を維持すべきであることを示唆している。
• オブジェクトの意味的性質が変化した場合（例：円が一つのシナリオでは敵、別のシナリオでは入手可能アイテム）、オブジェクト種別事前知識だけでは不十分であったが、fact 基盤の事前知識により、頑健な適応が可能だった。
• 本システムは動的知識選択を示し、有益な際には記号的 fact を活用し、記号的手がかりが曖昧または誤解を招く場合には、原始的な視覚に依存する学習を実現した。