[論文レビュー] GALOIS: Boosting Deep Reinforcement Learning via Generalizable Logic Synthesis

Yushi Cao, Zhiming Li+6 more|arXiv (Cornell University)|May 27, 2022

Formal Methods in Verification被引用数 8

ひとこと要約

GALOISは、スケッチベースのハイブリッドドメイン固有言語（DSL）を用いて、深層強化学習（DRL）における解釈可能で階層的かつ因果的に構造化された論理プログラムを合成する画期的なフレームワークを提案する。命令型と宣言型のパラダイムを統合することで、一般化可能で因果関係に配慮した方策が可能となり、DRLの性能、一般化能力、知識再利用性が顕著に向上する。

ABSTRACT

Despite achieving superior performance in human-level control problems, unlike humans, deep reinforcement learning (DRL) lacks high-order intelligence (e.g., logic deduction and reuse), thus it behaves ineffectively than humans regarding learning and generalization in complex problems. Previous works attempt to directly synthesize a white-box logic program as the DRL policy, manifesting logic-driven behaviors. However, most synthesis methods are built on imperative or declarative programming, and each has a distinct limitation, respectively. The former ignores the cause-effect logic during synthesis, resulting in low generalizability across tasks. The latter is strictly proof-based, thus failing to synthesize programs with complex hierarchical logic. In this paper, we combine the above two paradigms together and propose a novel Generalizable Logic Synthesis (GALOIS) framework to synthesize hierarchical and strict cause-effect logic programs. GALOIS leverages the program sketch and defines a new sketch-based hybrid program language for guiding the synthesis. Based on that, GALOIS proposes a sketch-based program synthesis method to automatically generate white-box programs with generalizable and interpretable cause-effect logic. Extensive evaluations on various decision-making tasks with complex logic demonstrate the superiority of GALOIS over mainstream baselines regarding the asymptotic performance, generalizability, and great knowledge reusability across different environments.

研究の動機と目的

• 深層強化学習（DRL）における高階知能（特に論理的帰納と再利用）の欠如が一般化能力と解釈可能性を制限する問題に対処する。
• 従来のプログラム合成手法の限界を克服する：命令型プログラミングにおける因果的推論の欠如と、宣言型プログラミングにおける階層的論理の処理不能性。
• 自動的に階層的で因果的関係を有する論理プログラムを合成する統一フレームワークを構築し、DRL方策における高い一般化能力と解釈可能性を実現する。
• 共通する論理的構造を持つ環境間で知識を効率的に転送・再利用可能にし、新しいタスクにおけるサンプル複雑性を低減する。
• シンボリック推論とコネクショニスティック学習を統合し、学習可能でかつ説明可能なホワイトボックス方策を構築する。

提案手法

• 階層的論理と厳密な因果関係をサポートする、新しいスケッチベースのハイブリッドドメイン固有言語（DSL）を導入し、構造化されたプログラム合成を可能にする。
• プログラムスケッチ（穴が空いた部分プログラム）を定義し、ドメイン知識に基づいて穴を制約することで、探索空間を縮小し、合成効率を向上させる。
• 微分可能インダクティブ論理プログラミング（ILP）を拡張し、スケッチベースの合成を可能にし、勾配ベース最適化による論理プログラムのエンドツーエンド学習を実現する。
• 部分プログラムを独立に合成するが、スケッチにエンコードされた因果的依存関係を通じて統合する階層的プログラム合成パイプラインを構築する。
• 二段階の訓練プロセスを採用：まずスケッチ内の各穴に対して部分プログラムを学習し、次に環境フィードバックを用いて全体プログラムをファインチューニングする。
• 類似したタスク間で事前学習済みの部分プログラム（例：toggle_box, open_door）を再利用することで、知識転送を可能にし、新しい環境における学習を顕著に加速する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドプログラム合成フレームワークは、命令型と宣言型プログラミングの長所を統合し、DRLにおける解釈可能で階層的かつ因果的に構造化された方策を効果的に生成できるか？
• RQ2 類似した根幹的論理を有するが環境設定が異なるタスク間で、合成された論理プログラムはどの程度一般化可能か？
• RQ3 スケッチベースのアプローチは、エンドツーエンドDRLや標準的なプログラム合成と比較して、どの程度サンプル効率と学習速度を向上させるか？
• RQ4 部分プログラムの知識は、異なる環境間で効果的に再利用可能か？また、その再利用が学習効率にどの程度寄与するか？
• RQ5 方策合成に因果的論理を統合することで、より解釈可能で人間が理解可能な意思決定プロセスが実現できるか？

主な発見

• GALOISは、複数の複雑な意思決定タスクにおいて、主流のDRLベースラインおよびプログラム合成に基づく手法と比較して、漸近的性能で優れている。
• ゼロショット一般化において顕著な向上を達成し、特に論理的変化（例：BoxKey 対 DoorKey）を伴うタスクでは、因果的論理の再利用により迅速に適応する。
• 知識再利用性が大幅に向上：類似タスク（例：DoorKey）からの部分プログラムや全体プログラムをウォームスタートすることで、学習時間とサンプル複雑性が著しく低減される。
• 「場所特定」関数（例：??_WHERE）の部分プログラムのみを再利用しても、学習効率に顕著な向上が得られる。これは、GALOISの階層的設計におけるモularityと再利用可能性を示している。
• 合成されたホワイトボックス方策は解釈可能であり、人間によるフィードバックによるチューニングが可能で、新しい下流タスクへの迅速な適応が可能である。
• スケッチベースの合成手法により、厳密な因果的関係を有する階層的プログラム生成が可能となり、命令型のみのアプローチで見られるアリアイジングや非因果的振る舞いを回避できる。