[논문 리뷰] A Confederacy of Models: a Comprehensive Evaluation of LLMs on Creative Writing

Carlos Gómez‐Rodríguez, Paul Williams|arXiv (Cornell University)|2023. 10. 12.

Advanced Text Analysis Techniques인용 수 6

한 줄 요약

이 연구는 12개의 최신 지시 미세조정된 LLM과 인간 작가를 대상으로, 도전적인 개방형 프롬프트인 '이그나티우스 J. 레일리와 페트로다킬의 대결'을 통해 제로샷 창작 글쓰기 능력을 평가한다. 최신 상용 LLM은 유창성, 일관성, 스타일 측면에서 인간 수준에 도달하거나 略로 뛰어나지만, 인간은 원형성과 유머에서 여전히 우위를 점하며, 이는 모델들이 유머 요소를 다룰 때 이진 분열이 존재함을 드러낸다.

ABSTRACT

We evaluate a range of recent LLMs on English creative writing, a challenging and complex task that requires imagination, coherence, and style. We use a difficult, open-ended scenario chosen to avoid training data reuse: an epic narration of a single combat between Ignatius J. Reilly, the protagonist of the Pulitzer Prize-winning novel A Confederacy of Dunces (1980), and a pterodactyl, a prehistoric flying reptile. We ask several LLMs and humans to write such a story and conduct a human evalution involving various criteria such as fluency, coherence, originality, humor, and style. Our results show that some state-of-the-art commercial LLMs match or slightly outperform our writers in most dimensions; whereas open-source LLMs lag behind. Humans retain an edge in creativity, while humor shows a binary divide between LLMs that can handle it comparably to humans and those that fail at it. We discuss the implications and limitations of our study and suggest directions for future research.

연구 동기 및 목표

• 최근 지시 미세조정된 LLM의 제로샷 개방형 환경에서의 창작 글쓰기 능력을 평가하기 위해.
• 다양한 차원에서 인간 평가를 통해 LLM 성능을 직접 인간 작가와 비교하기 위해.
• 학습 데이터 유출을 최소화하기 위해, 학습 데이터에 존재할 가능성이 낮은 고유하고 중복되지 않은 서사 시나리오를 선택하기 위해.
• 현재 LLM의 창작 글쓰기 능력, 특히 유머와 원형성에서의 강점과 한계를 규명하기 위해.
• 창작 스토리텔링 평가 벤치마크의 격차를 메우기 위해 인간 평가 기반의 종합적 평가를 제공하기 위해.

제안 방법

• 새로운 원형 서사 프롬프트를 설계함: 퓰리처서상 수상 소설의 캐릭터인 이그나티우스 J. 레일리와 고생식 공룡인 페트로다킬 사이의 단독 전투.
• 12개의 최신 지시 미세조정된 LLM과 인간 작가가 동일한 제로샷 조건에서, 미세조정이나 컨텍스트 학습 없이 이야기를 생성하도록 유도함.
• 창작 글쓰기 기준에 맞게 수정된 척도를 사용해 인간 평가를 수행함. 평가 항목은 유창성, 일관성, 원형성, 유머, 스타일을 포함함.
• 평가자들이 각 이야기를 10개의 기준에 따라 1~5점으로 평가하며, 총점은 박스 플롯과 통계 요약을 통해 집계 및 분석함.
• LLM 학습 데이터 재사용을 방지하기 위해, LLM 학습 세트에서 노출될 가능성이 낮은 시나리오를 선택함.
• 결과를 분석하여 모델 성능을 인간 기준과 비교하고, 특히 유머와 창의성에서의 질적 차이에 중점을 둠.

Figure 1: Box plot comparing overall ratings for stories by humans and 12 LLMs, arranged left to right by mean overall rating. Boxes show median, quartiles Q1-Q3, and whiskers at 1.5 IQR, with values outside that range plotted as outliers. Filled red circles represent means.

실험 결과

연구 질문

• RQ1 최신 지시 미세조정된 LLM은 인간 작가와 비교해 제로샷 창작 글쓰기에서 어떻게 성과를 내는가?
• RQ2 LLM은 유창성, 일관성, 원형성, 유머, 스타일과 같은 핵심 창작 글쓰기 차원에서 인간 성과를 어느 정도 따라잡을 수 있는가?
• RQ3 현재 LLM은 인간과 비교해 어떤 한계를 보이며, 특히 유머와 원형 서사 콘텐츠 생성에서 어떤 점이 부족한가?
• RQ4 제로샷 조건에서 상용 LLM은 오픈소스 모델보다 창작 글쓰기 과제에서 더 뛰어나게 성과를 내는가?
• RQ5 자동화된 메트릭이 부족할 경우 인간 평가가 LLM 생성 창작 글쓰기 품질 평가에서 어떤 역할을 하는가?

주요 결과

• 상용 SOTA LLM은 유창성, 일관성, 스타일에서 인간 작가와 유사하거나 略로 뛰어나며, 총점이 인간 성과와 매우 유사하게 집중되어 있음.
• 원형성에서는 인간이 뚜렷한 우위를 점하며, LLM이 생성한 이야기는 더 공식적이거나 반복적인 서사적 구조를 보임.
• 유머 성능은 이진 분열을 보이며, 일부 LLM은 효과적으로 유머를 생성하지만, 다른 일부는 완전히 실패함. 이는 일관되지 않은 유머 추론 능력을 시사함.
• 오픈소스 LLM은 모든 평가 차원에서 상용 모델에 비해 일관되게 열등한 성과를 보임.
• 가장 낮은 평점을 받은 이야기(알파카가 생성)는 총 평가 척도에서 14/100을 기록했으며, 원형성과 유머와 같은 핵심 기준에서 다수의 낮은 점수(1 또는 2점)를 받음.
• 높은 유창성과 일관성에도 불구하고, 많은 LLM은 특히 복잡하거나 비현실적인 시나리오에서 서사 긴장감과 주제 깊이를 유지를 어려워함.

Figure 2: Box plot comparing humor ratings for stories generated by humans and 12 LLMs, sorted left to right by mean overall rating. Notation as in Figure 1 .