[논문 리뷰] Meta Prompting for AI Systems

Yifan Zhang, Yuan, Yang외 1명|arXiv (Cornell University)|2023. 11. 20.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 범주론과 유형 이론을 활용하여 콘텐츠 중심의 추론에서 구조 및 구문 중심의 추론으로의 전환을 가능하게 하는 새로운 프레임워크인 메타 프롬프팅(Meta Prompting, MP)을 소개한다. 이는 순환적이고 자기참조적인 프롬프트 생성을 가능하게 하며, 높은 효율성으로 24의 게임 퍼즐을 100% 성공률로 해결하여 기존의 few-shot 및 체인 오브 썬스 방법을 능가한다.

ABSTRACT

We introduce Meta Prompting (MP), a framework that elevates the reasoning capabilities of large language models (LLMs) by focusing on the formal structure of a task rather than content-specific examples. We establish a theoretical foundation for this paradigm, formalizing MP as a functor that maps a category of tasks to a category of structured prompts, thereby guaranteeing that compositional problem-solving strategies can be systematically decomposed into modular prompt structures. We extend this concept to Recursive Meta Prompting (RMP), an automated process where an LLM can generate and refine its own prompts. We model this self-improvement loop formally as a monad, providing a principled framework for automated prompt engineering. Our claims are validated through extensive experiments demonstrating that a Qwen-72B base model, guided by a single, example-agnostic meta-prompt, achieves state-of-the-art results on MATH, GSM8K, and Game of 24. These results are achieved with substantial token efficiency gains over traditional few-shot methods. Project Page: https://github.com/meta-prompting/meta-prompting.

연구 동기 및 목표

• 콘텐츠 중심의 프롬프팅 방법에 국한된 LLM의 깊이 있고 체계적인 추론 능력의 한계를 해결하기 위해.
• 자기연결 토큰 예측의 내재적 제약을 극복하기 위해 형식적이고 구조 중심의 추론 프레임워크를 도입하기 위해.
• 함자 및 조합적 성질을 활용하여 LLM이 자기 구조를 기반으로 순환적이고 메타프로그래밍 유사한 방식으로 프롬프트를 자동 생성하고 개선할 수 있도록 하기 위해.
• 다양한 데이터 유형(예: 이미지, 오디오, 비디오)을 통합적이고 구조적으로 처리할 수 있도록 메타 프롬프팅 프레임워크를 다중모달 기초 모델로 확장하기 위해.
• 특히 고위험도의 다단계 문제에서 실용적 우수성을 입증함으로써 메타 프롬프팅의 복잡한 추론 과제에서의 우월성을 실증적으로 입증하기 위해.

제안 방법

• 범주론과 유형 이론을 사용하여 메타 프롬프팅(MP)을 형식화하고, 문제와 그에 해당하는 프롬프트 사이의 함자적 관계를 수립한다.
• 복잡한 문제를 문법적 및 범주론적 추상화를 통해 구조적인 부분 문제로 분해하는 메타 프롬프팅을 위한 복잡한 추론(MP-CR)을 도입한다.
• LLM이 자신의 내부 구조를 기반으로 순환적으로 새로운 프롬프트를 생성할 수 있도록 해주는 메타 프롬프팅을 위한 프롬프트 작업(MP-PT)을 구현한다. 이는 메타프로그래밍과 유사하다.
• 자연어, 프로그래밍 언어, 다중모달 입력 간의 통합을 지원하는 유형 기반, 문법 중심의 프롬프트 프레임워크를 설계한다.
• 내부 함자적 및 모나드 성질을 활용하여 반복적이고 자기참조적인 추론을 가능하게 하여 자율적 적응 및 향상을 지원한다.
• 이질적인 데이터 유형과 그에 해당하는 추론 템플릿 간의 구조적 매핑을 정의하여 메타 프롬프팅을 다중모달 환경에 통합한다.

실험 결과

연구 질문

• RQ1 콘텐츠 기반 프롬프팅을 넘어서 구조적 및 문법적 패tern에 중점을 두어 LLM의 추론 능력을 어떻게 향상시킬 수 있는가?
• RQ2 LLM은 메타프로그래밍과 유사한 순환적이고 자기참조적인 메커니즘을 통해 얼마나 자율적으로 프롬프트를 생성하고 개선할 수 있는가?
• RQ3 범주론적 프레임워크는 기존의 체인 오브 썬스와 같은 방법에 비해 복잡한 추론 과제의 일관성, 효율성, 정확도를 향상시킬 수 있는가?
• RQ4 메타 프롬프팅은 어떻게 다중모달 기초 모델로 일반화되어 텍스트, 시각, 오디오, 비디오 간의 추론을 통합적으로 처리할 수 있는가?
• RQ5 MP-CR의 실증적 성능은 실제 세계의 추론 벤치마크에서 어떻게 나타나는가? 특히 고정밀도 및 저토큰 비용이 요구되는 과제에서 어떻게 나타나는가?

주요 결과

• MP-CR 에이전트는 24의 게임 퍼즐 인스턴스 100%를 모두 성공적으로 해결하여 기준 방법을 능가했다.
• OpenAI 어시스턴트 API를 사용할 경우, 24의 게임 샘플당 평균 처리 시간은 단 0.08초에 불과하여 높은 효율성을 입증했다.
• 메타 프롬프팅은 문제를 더 단순하고 재사용 가능한 부분 문제로의 구조적 분해를 가능하게 하여 토큰 소비를 크게 감소시켰다.
• 순환적 MP-PT 메커니즘은 LLM이 자율적으로 새로운 효과적인 프롬프트를 생성할 수 있도록 해주어 자기 향상 가능한 AI 시스템으로의 도약을 보여주었다.
• 실증 결과에 따르면, MP-CR는 형식적이고 문법 중심의 구조 덕분에 추론 방법 간의 더 공정하고 체계적인 비교를 가능하게 했다.
• 메타 프롬프팅을 다중모달 환경에 통합함으로써, 공통의 범주론적 프레임워크를 통해 다양한 데이터 유형 간의 추론을 통합할 잠재력을 입증했다.