[논문 리뷰] Quality-Diversity through AI Feedback

Herbie Bradley, Andrew M. Dai외 8명|arXiv (Cornell University)|2023. 10. 19.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 활용해 자율적으로 다양하고 고급도의 창작 텍스트(예: 이야기, 시, 의견 기사 등)를 생성하고 평가하는 질적 다양성 기반 인공지능 피드백(Quality-Diversity through AI Feedback, QDAIF)을 소개한다. 수작업으로 설계된 메트릭이 필요 없이, LLMs가 품질과 다양성에 대해 피드백을 제공함으로써 QDAIF는 비-QD 기반 모델에 비해 설계 공간을 훨씬 더 잘 커버하며, 인간 평가를 통해 인간의 판단과 강한 일치를 보이는 고급도의 다양한 출력물을 생성한다.

ABSTRACT

In many text-generation problems, users may prefer not only a single response, but a diverse range of high-quality outputs from which to choose. Quality-diversity (QD) search algorithms aim at such outcomes, by continually improving and diversifying a population of candidates. However, the applicability of QD to qualitative domains, like creative writing, has been limited by the difficulty of algorithmically specifying measures of quality and diversity. Interestingly, recent developments in language models (LMs) have enabled guiding search through AI feedback, wherein LMs are prompted in natural language to evaluate qualitative aspects of text. Leveraging this development, we introduce Quality-Diversity through AI Feedback (QDAIF), wherein an evolutionary algorithm applies LMs to both generate variation and evaluate the quality and diversity of candidate text. When assessed on creative writing domains, QDAIF covers more of a specified search space with high-quality samples than do non-QD controls. Further, human evaluation of QDAIF-generated creative texts validates reasonable agreement between AI and human evaluation. Our results thus highlight the potential of AI feedback to guide open-ended search for creative and original solutions, providing a recipe that seemingly generalizes to many domains and modalities. In this way, QDAIF is a step towards AI systems that can independently search, diversify, evaluate, and improve, which are among the core skills underlying human society's capacity for innovation.

연구 동기 및 목표

• 알고리즘이 품질과 다양성을 정의하기 어려운 질적 영역에서 다양하고 고급도의 창작 텍스트 출력을 생성하는 데 도전하는 것.
• 대규모 언어 모델(LLMs)이 개방형 텍스트 생성에서 품질과 다양성에 대해 자율적인 평가자로 기능할 수 있는지 탐색하는 것.
• 사람이 레이블링한 메트릭에 의존하지 않고도 AI가 주도하는 자율적 탐색과 창의적 도메인 내 혁신을 가능하게 하는 방법을 개발하는 것.
• AI가 생성한 피드백이 창작 텍스트의 품질과 다양성 평가에서 인간 평가와 얼마나 일치하는지 검증하는 것.
• QDAIF가 스토리텔링, 시, 의견 기사 등 다양한 창작 글쓰기 형식으로 일반화될 수 있는지 보여주는 것.

제안 방법

• QDAIF는 진화 알고리즘과 LLM을 결합하여 품질과 다양성 기반으로 텍스트 후보를 반복적으로 생성하고 평가한다.
• LLM을 활용해 생성된 텍스트의 품질(예: 논리성, 몰입도)과 다양성(예: 장르, 어조, 캐릭터 유형)에 대한 자연어 피드백을 제공한다.
• 각 텍스트 후보는 품질-다양성 아카이브에 유지되며, 다중 차원에서 LLM 기반 평가를 통해 점수를 매긴다.
• 프롬프트 엔지니어링과 LLM 기반 텍스트 생성을 통해 다양성을 도입하고, LLM 피드백에 기반한 변형과 선택을 통해 새로운 후보를 진화시킨다.
• LLM에 의해 주석이 달린 다양성 점수에 기반한 신선도 탐색 메커니즘을 사용하여 설계 공간의 미비하게 다뤄진 영역을 탐색한다.
• 모델 파인튜닝을 피하기 위해 평가에 대해 Zero-shot 또는 Few-shot 프롬프팅에만 의존함으로써 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 LLM은 파인튜닝 없이 창작 글쓰기에서 주관적인 품질과 다양성 요소를 효과적으로 평가할 수 있는가?
• RQ2 QDAIF는 품질 전용 또는 비-QD 기반 모델에 비해 더 다양하고 고급도의 창작 텍스트 세트를 생성하는가?
• RQ3 AI가 생성한 피드백은 창작 텍스트 출력의 품질과 다양성 평가에서 인간의 판단과 얼마나 잘 일치하는가?
• RQ4 QDAIF는 명시적인 인간 기반 메트릭 없이도 다양한 장르와 형식에서 새로운 고급도의 창작 출력물을 발견할 수 있는가?
• RQ5 LLM은 개방형이고 질적 영역에서 자율적으로 진화적 탐색을 이끌 수 있는 정도는 어느 정도인가?

주요 결과

• QDAIF는 LMX-Near 기반 모델에 비해 설계 공간을 훨씬 더 잘 커버하며, 특히 다양한 장르와 캐릭터 아크를 가진 이야기 생성에서 뚜렷한 슈퍼리어리티를 보였다.
• 스토리 도메인에서 QDAIF는 스파이와 정치인을 주인공으로 한 해피엔딩 스토리를 생성했으며, 이는 품질 0.995, 다양성 0.986로 높은 점수를 기록했고, 기반 모델은 핵심 서사 요소가 누락된 낮은 품질의 스토리를 생성했다.
• 인간 평가 결과, AI 피드백과 인간 판단 간 강한 일치가 확인되었으며, 상관계수 분석을 통해 AI 피드백이 탐색을 안내하는 데 기반이 되고 신뢰할 수 있음을 입증했다.
• QDAIF는 품질 전용 기반 모델이 좁은 출력 집합으로 수렴하는 데 비해, 러브스토리, 호러, 정치적 긴장감 등 더 넓은 서사 스타일과 주제를 발견했다.
• 예를 들어, 시 분야에서 다양성 점수 0.996, 스토리 분야에서 품질 점수 0.995를 기록하여 설계 공간의 효과적 탐색을 보여주었다.
• Zero-shot 및 초기화 시드 설정에서도 QDAIF는 초기 프롬프트가 제한된 상태에서도 고급도의 출력을 유지했으며, 초기화의 변동성에 대해 뛰어난 내성성을 보였다.