[논문 리뷰] Exploring Prompt Engineering: A Systematic Review with SWOT Analysis

Aditi Singh, Abul Ehtesham외 4명|arXiv (Cornell University)|2024. 10. 09.

Transportation Systems and Infrastructure인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 위한 프롬프트 엔지니어링 기법에 대한 체계적 리뷰와 SWOT 분석을 제시하며, 인간-AI 상호작용을 향상시키기 위해 언어학 원칙을 강조한다. Zero-shot, few-shot, 체인 오브 토크 분석 등의 방법을 평가하고 BERTScore, ROUGE, Perplexity와 같은 핵심 지표를 식별하며, 실제 응용 분야에서의 신뢰성과 효과를 높이기 위한 향후 연구 방향을 제시한다.

ABSTRACT

In this paper, we conduct a comprehensive SWOT analysis of prompt engineering techniques within the realm of Large Language Models (LLMs). Emphasizing linguistic principles, we examine various techniques to identify their strengths, weaknesses, opportunities, and threats. Our findings provide insights into enhancing AI interactions and improving language model comprehension of human prompts. The analysis covers techniques including template-based approaches and fine-tuning, addressing the problems and challenges associated with each. The conclusion offers future research directions aimed at advancing the effectiveness of prompt engineering in optimizing human-machine communication.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)의 프롬프트 엔지니어링 기법에 대한 종합적인 SWOT 분석을 수행하여 그 강점, 약점, 기회, 위협을 평가한다.
• 언어학 원칙을 프롬프트 설계에 통합하여 모델의 이해도와 응답 정확도를 향상시킨다.
• 템플릿 기반 방법과 파인튜닝을 포함한 다양한 프롬프트 엔지니어링 기법을 식별하고 분류한다.
• BLEU, BERTScore, ROUGE, Perplexity와 같은 기존 평가 지표들이 프롬프트 엔지니어링의 효과성을 평가하는 데 얼마나 유용한지 평가한다.
• 최적화된 프롬프트 설계를 통해 LLM 상호작용의 강건성, 신뢰성, 일반화 능력을 향상시키기 위한 실천 가능한 연구 방향을 제공한다.

제안 방법

• IEEE Xplore, ACM 디지털 라이브러리, 구글 색색과 같은 학술 데이터베이스에서 키워드를 활용해 체계적 문헌 리뷰를 수행하였으며, 100편 이상의 관련 논문을 분석하였다.
• Zero-shot, few-shot, 체인 오브 토크, 그래프 프롬프팅, 자기 일관성 방법 등으로 프롬프트 엔지니어링 기법을 구체적인 유형으로 분류하였다.
• 각 기법을 강점, 약점, 기회, 위협의 네 가지 차원에서 평가하기 위해 SWOT 분석을 적용하였다.
• BERTScore와 METEOR는 의미 유사도 측정에, ROUGE와 BLEU는 다양성 측정에, Perplexity는 언어 수용 가능성 측정에 각각 평가 지표를 기법에 매핑하였다.
• 구문 구조와 의미 일관성과 같은 언어학 원칙을 분석에 통합하여 효과적인 프롬프트 설계를 이끌어내는 데 기여하였다.
• 발견된 결과를 종합하여 교육 및 고객 서비스와 같은 분야에서 LLM 성능 향상과 사용자-AI 상호작용 개선을 위한 실천 가능한 통찰을 도출하였다.

Figure 1: Convergence of AI, Linguistics, Psychology, and Creativity in Prompt Engineerings

실험 결과

연구 질문

• RQ1 LLMs에서 주요 프롬프트 엔지니어링 기법의 핵심 강점, 약점, 기회, 위협은 무엇인가?
• RQ2 언어학 원칙은 LLM의 이해도와 응답 품질 향상에 있어 프롬프트 설계의 효과성에 어떻게 영향을 미치는가?
• RQ3 다양한 프롬프트 엔지니어링 전략의 성능을 측정하는 데 가장 효과적인 평가 지표는 무엇인가?
• RQ4 AI, 언어학, 프롬프트 엔지니어링 간의 상호작용은 LLM 능력을 어떻게 향상시킬 수 있는가?
• RQ5 실제 LLM 응용 분야에서 프롬프트 엔지니어링의 신뢰성, 확장성, 영역 특화 적용 가능성을 향상시키기 위한 향후 연구 방향은 무엇인가?

주요 결과

• AI, 언어학, 프롬프트 엔지니어링 간에 강력한 상호보완적 관계가 존재하며, 언어학 원칙이 프롬프트 설계와 모델 성능 향상에 중대한 영향을 미친다.
• Zero-shot 및 few-shot 프롬프팅은 높은 유연성을 보였지만, 복잡한 추론 작업에서 일관성 부족과 프롬프트 어조 민감도 문제를 겪었다.
• 체인 오브 토크 프롬프팅은 중간 단계를 안내함으로써 추론 정확도를 향상시켰으며, 분류 작업에서 F1 점수와 AUC 지표가 뚜렷한 향상을 보였다.
• BERTScore와 ROUGE는 각각 의미 유사도와 텍스트 다양성 측정에 효과적이었으며, BERTScore는 인간 평가와 강한 상관관계를 보였다.
• Perplexity는 언어 수용 가능성과 예측 성능의 신뢰할 수 있는 지표로 부각되었으며, 낮은 값일수록 모델 캘리브레이션 수준이 높음을 시사했다.
• 파인튜닝과 템플릿 기반 프롬프팅은 장점이 있었지만, 계산 비용, 영역 특수성, 분포 외 데이터에 대한 일반화 능력 저하 등의 과제를 안고 있었다.