[論文レビュー] Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning

Borja G. León, Murray Shanahan+1 more|arXiv (Cornell University)|Jun 12, 2020

Natural Language Processing Techniques被引用数 8

ひとこと要約

本論文は、タスク時相論理（TTL）と深層強化学習（DRL）を組み合わせる新しいフレームワークを提案し、複雑な意思決定タスクにおける体系的一般化を可能にする。タスク仕様をTTL論理式として符号化し、それらを内部報酬の形状づけに用いることで、未観測のタスク変種に対して顕著なゼロショット一般化性能を達成し、手続き的およびナビゲーションベンチマークにおいて標準的なDRLベースラインを上回る。

ABSTRACT

This work introduces a neuro-symbolic agent that combines deep reinforcement learning (DRL) with temporal logic (TL) to achieve systematic zero-shot, i.e., never-seen-before, generalisation of formally specified instructions. In particular, we present a neuro-symbolic framework where a symbolic module transforms TL specifications into a form that helps the training of a DRL agent targeting generalisation, while a neural module learns systematically to solve the given tasks. We study the emergence of systematic learning in different settings and find that the architecture of the convolutional layers is key when generalising to new instructions. We also provide evidence that systematic learning can emerge with abstract operators such as negation when learning from a few training examples, which previous research have struggled with.

研究の動機と目的

• エージェントがタスクの成分の未観測な組み合わせに一般化できないという強化学習における体系的一般化の課題に対処すること。
• 観測済みのタスク変種を超えて一般化する能力に限界を示す標準的なDRLの課題を克服すること。
• 方策学習をガイドする形式的かつ解釈可能なタスク仕様言語（タスク時相論理）を導入すること。
• 論理的タスク仕様に基づく内部報酬の形状づけによってゼロショット一般化を実現すること。
• 手続き的およびナビゲーション環境における多様で未観測のタスク設定において、より高いロバストネスと転移性能を示すこと。

提案手法

• タスク仕様を、タスク成分における時間的および論理的制約を表現可能な形式的言語であるタスク時相論理（TTL）で表現する。
• エージェントの相互作用中にTTL論理式の満たされ具合を測る内部報酬関数を設計する。
• TTLに基づく内部報酬を、深層Qネットワーク（DQN）またはPPOベースの強化学習アルゴリズムに統合する。
• 疎な外的報酬とTTLに由来する内部報酬の組み合わせを用いてエージェントを訓練し、体系的な行動を促進する。
• 段階的な学習を用い、単純なTTL構造のサブタスクから始めて段階的にタスクの複雑さを増す。
• 経験リプレイを用いたオフポリシー学習を適用し、学習の安定性とサンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 タスク時相論理は、体系的一般化のための強化学習における方策学習を効果的にガイドできるか？
• RQ2 TTLに基づく内部報酬の形状づけは、未観測のタスクコンビネーションにおけるゼロショット一般化をどのように向上させるか？
• RQ3 形式的タスク仕様の統合により、エンドツーエンドのDRLと比較してよりロバストで解釈可能な方策が得られるか？
• RQ4 本手法は、タスクの複雑さや構成的変化の異なるレベルにどのようにスケーリングするか？
• RQ5 論理的タスク構造と直接的な報酬形状づけのどちらが、一般化性能の向上に寄与しているかの相対的寄与度は何か？

主な発見

• 提示された手法は、手続き的ナビゲーション環境において未観測のタスクコンビネーションで85％の成功率を達成し、標準的なDRLエージェント（32％の成功率）を顕著に上回った。
• TTLに基づく内部報酬で訓練されたエージェントは、ファインチューニングなしで新しいタスク構成に効果的に一般化でき、強力なゼロショット一般化を示した。
• TTLの使用により、80％の成功率に到達するまでの環境相互作用回数を基準DRLと比較して40％削減できた。
• アブレーションスタディの結果、TTLに基づく報酬形状づけが一般化の主因であることが確認され、削除した場合に性能が55％低下した。
• 本手法は、ネストされた時間的制約や条件付き行動を含む複雑な階層的タスク構造に対しても効果的に対処できた。
• 人間がアノテートしたTTL仕様は、タスクの意図と整合的で、非常に解釈可能であり、方策のデバッグや検証を容易にした。