[論文レビュー] Planning with Logical Graph-based Language Model for Instruction Generation

Fan Zhang, Kebing Jin+1 more|arXiv (Cornell University)|Aug 26, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文では、AI計画法と大規模言語モデルを統合することで、より論理的かつ実行可能な指示文を生成できるグラフベースの言語モデル、Logical-GLMを提案する。PDDLに変換された指示文から論理的ベイジアングラフを構築し、EM風のフレームワークによりグラフと言語モデルを交互に最適化することで、標準の言語モデルと比較してパrameter数が少なく、学習データ量も少ない状況でも、より高い推論精度と解釈可能性を達成する。

ABSTRACT

Despite the superior performance of large language models to generate natural language texts, it is hard to generate texts with correct logic according to a given task, due to the difficulties for neural models to capture implied rules from free-form texts. In this paper, we propose a novel graph-based language model, Logical-GLM, to infuse logic into language models for more valid text generation and interpretability. Specifically, we first capture information from natural language instructions and construct logical bayes graphs that generally describe domains. Next, we generate logical skeletons to guide language model training, infusing domain knowledge into language models. Finally, we alternately optimize the searching policy of graphs and language models until convergence. The experimental results show that Logical-GLM is both effective and efficient compared with traditional language models, despite using smaller-scale training data and fewer parameters. Our approach can generate instructional texts with more correct logic owing to the internalized domain knowledge. Moreover, the usage of logical graphs reflects the inner mechanism of the language models, which improves the interpretability of black-box models.

研究の動機と目的

• 大規模言語モデルによる指示文生成における論理的一致性の欠如に対処すること。
• 複雑で知識集約的なタスクにおける生成指示の推論能力と実行可能性を向上させること。
• 構造的な表現を通じてドメイン論理をモデル内に内蔵することで、モデルの解釈可能性を高めること。
• パラメータ数が多く、大規模データに依存するのを減らしながらも、性能を維持すること。
• 言語モデルと論理的グラフが互いに補完的に働き、より良いポリシー学習を可能にすること。

提案手法

• 自然言語による指示をPDDL形式の行動シーケンスに変換し、構造的でルールベースのドメイン知識を抽出する。
• フィルタリングされたPDDLシーケンスから論理的ベイジアングラフを構築し、ドメイン論理と制約を表現する。
• クリーニング済みの構造的指示データ上で言語モデルを学習させ、事実的・論理的一致性を向上させる。
• 言語モデルと論理的グラフがお互いにガイドするEM風の反復的最適化フレームワークを実装する。
• 論理的グラフ上でヒューリスティックサーチを実行し、言語モデルの出力を支援・精緻化する論理的スケルトンを生成する。
• 収束するまで、グラフ構造の最適化と言語モデルのファインチューニングを交互に繰り返す。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの言語モデルは、生成された指示文の論理的一致性と実行可能性を向上させることができるか？
• RQ2 AI計画法を言語モデルに統合することで、学習データ量とモデルサイズを減らしても性能に与える影響は何か？
• RQ3 言語モデルと論理的グラフの相互最適化は、モデル意思決定の解釈可能性をどの程度向上させるか？
• RQ4 期待されるプログラム長やタスクの複雑さの変化に対して、モデルはどの程度頑健か？
• RQ5 大規模事前学習に依存せずに、高品質でタスク固有の指示を生成できるか？

主な発見

• Logical-GLMは、モデルサイズが小さく、学習データ量も少ない状況でも、標準の言語モデルと比較して、生成された指示の実行可能性と正しさが向上している。
• 『映画を観る』という事例研究では、文の間の一貫性が向上し、不要または不条理な行動の生成が減少していることが示された。
• 期待されるプログラム長が長くなるほど実行可能性が著しく向上しており、タスクの複雑さに対しても頑健であることが示された。
• モデルは、vanilla版およびファインチューニング済みの GPT-2-xl よりも、一貫性がありタスク関連の高い指示シーケンスを生成している。
• 論理的ベイジアングラフの使用により、言語モデルの内部的推論メカニズムが露呈され、解釈可能性が向上した。
• EM風の反復的最適化フレームワークにより、言語生成とドメイン論理がうまく一致し、より信頼性が高く構造的な出力が得られた。