[論文レビュー] Quality Diversity through Human Feedback: Towards Open-Ended Diversity-Driven Optimization

Li Ding, Jenny Zhang+3 more|arXiv (Cornell University)|Oct 18, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、人間の判断から多様性メトリクスを学習することで、品質多様性（QD）最適化を向上させる、人間フィードバックによる品質多様性（QDHF）を提案する。潜在空間の射影を用いた対照的学習により、QDHFはロボット工学および画像生成タスクにおいて、教師なし手法を上回り、手作業で設計されたメトリクスと同等の性能を達成するとともに、探索性と解の多様性を向上させる。

ABSTRACT

Reinforcement Learning from Human Feedback (RLHF) has shown potential in qualitative tasks where easily defined performance measures are lacking. However, there are drawbacks when RLHF is commonly used to optimize for average human preferences, especially in generative tasks that demand diverse model responses. Meanwhile, Quality Diversity (QD) algorithms excel at identifying diverse and high-quality solutions but often rely on manually crafted diversity metrics. This paper introduces Quality Diversity through Human Feedback (QDHF), a novel approach that progressively infers diversity metrics from human judgments of similarity among solutions, thereby enhancing the applicability and effectiveness of QD algorithms in complex and open-ended domains. Empirical studies show that QDHF significantly outperforms state-of-the-art methods in automatic diversity discovery and matches the efficacy of QD with manually crafted diversity metrics on standard benchmarks in robotics and reinforcement learning. Notably, in open-ended generative tasks, QDHF substantially enhances the diversity of text-to-image generation from a diffusion model and is more favorably received in user studies. We conclude by analyzing QDHF's scalability, robustness, and quality of derived diversity metrics, emphasizing its strength in open-ended optimization tasks. Code and tutorials are available at https://liding.info/qdhf.

研究の動機と目的

• オープンエンドで現実世界のタスクにおいて、手作業で設計された多様性メトリクスに依存するQDアルゴリズムの限界を解消すること。
• 事前に定義された多様性指標なしに、多様で高品質な解をQDアルゴリズムが発見できるようにすること。
• 人間のフィードバックを人間が感じる多様性の代理として用いることで、複雑な最適化タスクにおける探索性と解の多様性を向上させること。
• QDHFで学習された多様性メトリクスのスケーラビリティと品質を評価すること。
• テキストから画像への拡散モデル制御といった生成的タスクにおけるQDHFの有効性を示すこと。

提案手法

• QDHFは、解の類似性に関する対比較の人間判断から多様性メトリクスを推定することで、QDフレームワークに人間フィードバックを統合する。
• 解を連続的な埋め込み空間に表現するため、潜在空間の射影を用いる。
• 対照的学習を適用し、埋め込み空間を人間の多様性認識と一致させ、人間の判断を反映するメトリクスを学習する。
• 反復的に解空間を探索し、解のペアに関する人間フィードバックを収集し、リアルタイムで多様性メトリクスを更新する。
• QDHFは、各々のユニークな多様性測定値と、最高性能を示した解が関連付けられた解アーカイブを維持する。
• 本手法は、ロボットナビゲーション、強化学習、画像生成のための潜在空間の明るさタスクにおいて評価されている。

実験結果

リサーチクエスチョン

• RQ1 人間フィードバックを用いて、QD最適化における教師なし多様性発見を上回る多様性メトリクスを学習できるか？
• RQ2 QDHFは、手作業で設計された多様性メトリクスを用いたQDと比較して、解の多様性と性能においてどのように異なるか？
• RQ3 QDHFは、テキストから画像への生成といったオープンエンドな生成的タスクにおいて、探索性と解の多様性をどの程度向上させるか？
• RQ4 QDHFが学習した多様性メトリクスは、異なるタスクドメインにわたり、どの程度スケーラブルで頑健か？
• RQ5 QDHFは、解の違いに対する人間の真の認識をよりよく反映する多様性表現を学習できるか？

主な発見

• QDHFは、ベンチマークとしてのロボット工学QDタスクにおいて、最先端の教師なし多様性発見手法を著しく上回り、より高い多様性と解空間のより良いカバレッジを達成した。
• 潜在空間の明るさタスクでは、QDHFが拡散モデルが生成する画像の多様性を向上させ、ユーザー調査ではQDHFが生成した出力がより好まれた。
• QDHFは、AURORAや他のベースラインと比較して、解空間の未発見領域において、多様性表現のスケールをより優れた能力でモデル化していた。
• QDHFで学習された多様性メトリクスは、真の多様性と強く一致しており、特に解同士の相対的距離を捉える点で優れていた。
• QDHFは、標準ベンチマークにおいて手作業で設計されたメトリクスを用いたQDと同等の性能を達成し、プラグイン代替としての有効性を検証した。
• 本手法は優れたサンプル効率とスケーラビリティを示し、複雑でオープンエンドな最適化タスクに適している。