[논문 리뷰] Plansformer: Generating Symbolic Plans using Transformers

Vishal Pallagani, Bharath Muppasani외 6명|arXiv (Cornell University)|2022. 12. 16.

Natural Language Processing Techniques인용 수 12

한 줄 요약

Plansformer는 지식 공학의 최소화로도 도미노 탑재 문제에서 약 97%의 타당성과 약 95%의 최적성 달성을 달성하는, 기계 학습 기반의 대규모 언어 모델을 활용해 정확하고 간결한 기호적 계획을 생성할 수 있는 모델을 소개한다. 이는 다양한 복잡도를 가진 계획 도메인 간의 일반화를 위해 전이 학습을 활용한다.

ABSTRACT

Large Language Models (LLMs) have been the subject of active research, significantly advancing the field of Natural Language Processing (NLP). From BERT to BLOOM, LLMs have surpassed state-of-the-art results in various natural language tasks such as question answering, summarization, and text generation. Many ongoing efforts focus on understanding LLMs' capabilities, including their knowledge of the world, syntax, and semantics. However, extending the textual prowess of LLMs to symbolic reasoning has been slow and predominantly focused on tackling problems related to the mathematical field. In this paper, we explore the use of LLMs for automated planning - a branch of AI concerned with the realization of action sequences (plans) to achieve a goal, typically executed by intelligent agents, autonomous robots, and unmanned vehicles. We introduce Plansformer; an LLM fine-tuned on planning problems and capable of generating plans with favorable behavior in terms of correctness and length with reduced knowledge-engineering efforts. We also demonstrate the adaptability of Plansformer in solving different planning domains with varying complexities, owing to the transfer learning abilities of LLMs. For one configuration of Plansformer, we achieve ~97% valid plans, out of which ~95% are optimal for Towers of Hanoi - a puzzle-solving domain.

연구 동기 및 목표

• 대규모 언어 모델(LM)의 능력을 자연어 작업에서 자동 계획의 기호적 추론으로 확장하기 위해.
• 계획 작업을 위한 대규모 언어 모델의 전이 학습을 활용해 광범위한 지식 공학의 필요성을 줄이기 위해.
• 다양한 복잡도를 가진 다양한 계획 도메인을 통합적으로 해결할 수 있는 프레임워크 개발을 위해.
• 타당성, 최적성 및 계획 길이 측면에서 기호적 계획 생성 성능 평가를 위해.

제안 방법

• 기타 계획 문제와 그에 해당하는 기호적 계획을 포함한 정제된 데이터셋에 기반해 사전 학습된 트랜스포머 기반 대규모 언어 모델을 미세조정하는 것.
• LLM 입력 및 출력에 적합한 구조적 텍스트 형식으로 계획 문제와 해결책을 표현하는 것.
• 기호적 계획 시퀀스의 장거리 의존성과 구조적 패턴을 포착하기 위해 모델의 어텐션 메커니즘을 활용하는 것.
• 다양한 계획 도메인 간의 제로샷 또는 피셔샷 일반화를 가능하게 하기 위해 전이 학습을 적용하는 것.
• 모델이 타당하고 최적의 계획을 생성하도록 유도하기 위해 프롬프트 공학과 피셔샷 예시를 활용하는 것.
• 도메인 특화 계획 벤치마크와의 자동 검증을 통해 계획의 타당성과 최적성을 검증하는 것.

실험 결과

연구 질문

• RQ1 미세조정된 대규모 언어 모델이 작업에 특화된 공학의 최소화로 복잡한 계획 도메인에 대해 타당한 기호적 계획을 생성할 수 있는가?
• RQ2 모델의 계획 타당성 및 최적성 성능가 다양한 계획 도메인 간에 어떻게 변화하는가?
• RQ3 한 계획 도메인에서의 전이 학습이, 서로 다른 구조를 가진 새로운 도메인에서의 성능 향상에 얼마나 기여하는가?
• RQ4 프롬프트 설계 및 피셔샷 예시가 최적의 계획 생성 능력에 미치는 영향은 무엇인가?
• RQ5 계획 품질과 추론 효율성 측면에서 전통적인 기호적 계획 알고리즘과 비교해 모델의 성능은 어떠한가?

주요 결과

• 일부 설정에서 Plansformer는 도미노 탑재 문제 도메인에서 계획 생성에 대해 약 97%의 타당성을 달성했다.
• 타당한 계획 중 약 95%가 최적임이 확인되어 계획 품질 측면에서 뛰어난 성능을 보였다.
• 모델는 다양한 복잡도를 가진 다양한 계획 도메인 간의 일반화를 효과적으로 수행하는 전이 학습 능력을 보였다.
• 전통적인 기호적 계획 시스템에 비해 수동 지식 공학의 필요성이 크게 감소했다.
• 특히 복잡하거나 미리 보지 못한 도메인에서 Plansformer는 기준 모델 대비 계획 타당성과 최적성에서 뛰어난 성능을 보였다.
• 피셔샷 프롬프팅 조건에서도 모델의 성능이 안정적이었으며, 강력한 피셔샷 일반화 능력을 보였다.