[論文レビュー] Quality-Diversity through AI Feedback

Herbie Bradley, Andrew M. Dai+8 more|arXiv (Cornell University)|Oct 19, 2023

Topic Modeling被引用数 7

ひとこと要約

この論文では、大規模言語モデル（LLMs）を用いて、手動で設計されたメトリクスなしに、物語、詩、意見記事などの多様で高品質な創造的テキストを自律的に生成・評価する、AIフィードバックを用いた品質・多様性最適化（QDAIF）という進化的アルゴリズムを提案する。LLMが品質と多様性の両面でフィードバックを提供することで、QDAIFは、人間の評価によって裏付けられた、人間の判断と強く整合する高品質で多様な出力を得る非QDベースラインを著しく上回る。

ABSTRACT

In many text-generation problems, users may prefer not only a single response, but a diverse range of high-quality outputs from which to choose. Quality-diversity (QD) search algorithms aim at such outcomes, by continually improving and diversifying a population of candidates. However, the applicability of QD to qualitative domains, like creative writing, has been limited by the difficulty of algorithmically specifying measures of quality and diversity. Interestingly, recent developments in language models (LMs) have enabled guiding search through AI feedback, wherein LMs are prompted in natural language to evaluate qualitative aspects of text. Leveraging this development, we introduce Quality-Diversity through AI Feedback (QDAIF), wherein an evolutionary algorithm applies LMs to both generate variation and evaluate the quality and diversity of candidate text. When assessed on creative writing domains, QDAIF covers more of a specified search space with high-quality samples than do non-QD controls. Further, human evaluation of QDAIF-generated creative texts validates reasonable agreement between AI and human evaluation. Our results thus highlight the potential of AI feedback to guide open-ended search for creative and original solutions, providing a recipe that seemingly generalizes to many domains and modalities. In this way, QDAIF is a step towards AI systems that can independently search, diversify, evaluate, and improve, which are among the core skills underlying human society's capacity for innovation.

研究の動機と目的

• 品質と多様性のアルゴリズム的定義が難しい質的分野において、多様で高品質な創造的テキスト出力を生成する課題に対処すること。
• 大規模言語モデル（LLMs）が、オープンエンドなテキスト生成において、品質と多様性の両方を自律的に評価できるかを検討すること。
• 人間がラベル付けしたメトリクスに依存せずに、AI主導の自己指向的探索と創造的分野におけるイノベーションを可能にする手法を開発すること。
• AIが生成するフィードバックが、創造的テキストの品質と多様性を評価する人間の判断とどの程度一致するかを検証すること。
• QDAIFが物語、詩、意見文など複数の創造的ライティングモダリティに一般化できることを示すこと。

提案手法

• QDAIFは、進化的アルゴリズムとLLMsを組み合わせ、品質と多様性に基づいてテキスト候補を反復的に生成・評価する。
• LLMsを用いて、テキストの品質（例：一貫性、没入感）と多様性（例：ジャンル、トーン、登場人物の種類）に関する自然言語フィードバックを提供する。
• 各候補が複数の次元でLLMベースの評価によってスコア付けされる、品質・多様性アーカイブにテキスト候補の集団を維持する。
• プロンプト工学とLLMベースのテキスト生成により変異を導入し、LLMのフィードバックに基づく突然変異と選択によって新しい候補を進化させる。
• LLMがアノテートした多様性スコアに従って、設計空間の未発見領域を探索するノベルティサーチメカニズムを用いる。
• 微調整を避けるために、評価にゼロショットまたはフェイワントショットプロンプトのみを用いることで、広範な適用可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、LLMsは創造的ライティングにおけるテキスト品質と多様性の主観的側面を効果的に評価できるか？
• RQ2 QDAIFは、品質最適化のみまたは非QDベースラインと比較して、より多様で高品質な創造的テキストを生成するか？
• RQ3 AIが生成するフィードバックは、創造的テキスト出力の品質と多様性について、人間の判断とどの程度一致するか？
• RQ4 QDAIFは、明示的な人間設計のメトリクスに依存せずに、複数のジャンルやモダリティにわたって、新規で高品質な創造的出力を発見できるか？
• RQ5 LLMsは、オープンエンドで質的分野において、どの程度自律的に進化的探索を導けるか？

主な発見

• QDAIFは、特にジャンルや登場人物の発展が多様な物語を生成する点で、LMX-Nearベースラインを著しく上回り、設計空間を高品質で多様な出力でカバーする。
• 物語分野において、QDAIFはスパイと政治家をテーマにしたハッピーエンドの物語（フィットネス 0.995、多様性 0.986）を生成したが、ベースラインは重要な物語的要素を欠いた低品質な物語を生成した。
• 人間による評価では、AIフィードバックと人間の判断の間に強い一致が確認され、相関係数からAIフィードバックが探索を導く上で根拠があり信頼できることが示された。
• QDAIFは、ロマンス、ホラー、政治的スリラーなど、より広範な物語スタイルやテーマを発見したのに対し、品質最適化のみのベースラインは、狭い範囲の出力に収束していた。
• QDAIFは、詩分野で多様性スコア 0.996、物語分野でフィットネススコア 0.995 を達成し、設計空間の効果的な探索が可能であることを示した。
• ゼロショットおよび初期化済みの設定でも、初期プロンプトが限定的であっても、QDAIFは高品質な出力を維持しており、初期化のばらつきに対して強い耐性を示した。