[논문 리뷰] Planning with Logical Graph-based Language Model for Instruction Generation

Fan Zhang, Kebing Jin외 1명|arXiv (Cornell University)|2023. 08. 26.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델과 AI 계획 수립을 통합하여 더 논리적이고 실행 가능한 지침 텍스트를 생성할 수 있도록 그래프 기반 언어 모델인 Logical-GLM을 제안한다. PDDL로 변환된 지침에서 논리적 베이지안 그래프를 구성하고, EM-스타일 프레임워크를 통해 그래프와 언어 모델을 번갈아 최적화함으로써, 표준 언어 모델에 비해 파rameter 수와 학습 데이터가 적어도 더 높은 추론 정확도와 해석 가능성 달성.

ABSTRACT

Despite the superior performance of large language models to generate natural language texts, it is hard to generate texts with correct logic according to a given task, due to the difficulties for neural models to capture implied rules from free-form texts. In this paper, we propose a novel graph-based language model, Logical-GLM, to infuse logic into language models for more valid text generation and interpretability. Specifically, we first capture information from natural language instructions and construct logical bayes graphs that generally describe domains. Next, we generate logical skeletons to guide language model training, infusing domain knowledge into language models. Finally, we alternately optimize the searching policy of graphs and language models until convergence. The experimental results show that Logical-GLM is both effective and efficient compared with traditional language models, despite using smaller-scale training data and fewer parameters. Our approach can generate instructional texts with more correct logic owing to the internalized domain knowledge. Moreover, the usage of logical graphs reflects the inner mechanism of the language models, which improves the interpretability of black-box models.

연구 동기 및 목표

• 대규모 언어 모델이 생성하는 지침 텍스트의 논리적 일관성 부족 문제를 해결하기 위해.
• 지식이 풍부하고 복잡한 작업에서 생성된 지침의 추론 능력과 실행 가능성 향상하기 위해.
• 구조화된 표현 방식을 통해 도메인 논리를 내재화함으로써 모델의 해석 가능성 향상시키기 위해.
• 성능을 유지하면서도 대규모 데이터와 고파rameter 모델에 대한 의존도를 줄이기 위해.
• 언어 모델과 논리적 그래프 간 상호 지도를 통해 더 나은 정책 학습 가능하게 하기 위해.

제안 방법

• 자연어 지침을 PDDL 형식의 동작 시퀀스로 변환하여 구조적이고 규칙 기반의 도메인 지식 추출하기.
• 필터링된 PDDL 시퀀스에서 논리적 베이지안 그래프를 구성하여 도메인 논리와 제약 조건 표현하기.
• 정제된 구조화된 지침 데이터로 언어 모델을 훈련하여 사실적이고 논리적인 일관성 향상시키기.
• 언어 모델과 논리적 그래프가 상호 지도하는 EM-스타일 반복 최적화 프레임워크 구현하기.
• 논리적 그래프에서 휴리스틱 검색을 수행하여 언어 모델의 출력을 안내하고 개선하는 논리적 스케leton 생성하기.
• 수렴할 때까지 그래프 구조를 개선하고 언어 모델을 피지테이닝하는 것을 번갈아 수행하기.

실험 결과

연구 질문

• RQ1 그래프 기반 언어 모델이 생성된 지침 텍스트의 논리적 일관성과 실행 가능성 향상에 기여하는가?
• RQ2 언어 모델에 AI 계획 수립을 통합할 경우, 학습 데이터와 모델 크기를 줄였을 때 성능에 어떤 영향을 미치는가?
• RQ3 언어 모델과 논리적 그래프 간의 상호 최적화가 모델 결정의 해석 가능성에 어느 정도 기여하는가?
• RQ4 예상 프로그램 길이 또는 작업 복잡도의 변동에 대해 모델은 얼마나 강건한가?
• RQ5 대규모 사전 훈련에 의존하지 않고도 고품질의 작업 특화 지침을 생성할 수 있는가?

주요 결과

• Logical-GLM는 더 작은 모델 크기와 적은 학습 데이터로도 표준 언어 모델에 비해 더 높은 실행 가능성과 정확도를 달성한다.
• 사례 연구에서 '영화 시청' 작업을 통해 문장 간 일관성이 향상되고 불필요하거나 비논리적인 동작 생성이 감소함을 확인했다.
• 더 긴 예상 프로그램 길이에서 실행 가능성 향상이 뚜렷하게 나타나, 작업 복잡도에 대한 강건성을 보였다.
• 일반적인 GPT-2-xl과 피지테이닝된 GPT-2-xl 모두를 초월하여 일관성 있고 작업 관련 지침 시퀀스를 생성하는 데 성공했다.
• 논리적 베이지안 그래프의 사용으로 언어 모델의 내부 추론 메커니즘이 노출되어 해석 가능성 향상됨을 확인했다.
• EM-스타일 반복 최적화 프레임워크는 언어 생성을 도메인 논리와 성공적으로 정렬하여 더 신뢰할 수 있고 구조화된 출력을 이끌어냈다.