[論文レビュー] Reinforcement Learning for Generative AI: A Survey

Yuanjiang Cao, Quan Z. Sheng+2 more|arXiv (Cornell University)|Aug 28, 2023

Machine Learning and Data Classification被引用数 10

ひとこと要約

強化学習が複数のモダリティに跨る生成系AIを生成する方法の包括的な概要。統一された分類体系と課題・トレンドの議論を含み、LLMsとdiffusion modelsを含む。

ABSTRACT

Deep Generative AI has been a long-standing essential topic in the machine learning community, which can impact a number of application areas like text generation and computer vision. The major paradigm to train a generative model is maximum likelihood estimation, which pushes the learner to capture and approximate the target data distribution by decreasing the divergence between the model distribution and the target distribution. This formulation successfully establishes the objective of generative tasks, while it is incapable of satisfying all the requirements that a user might expect from a generative model. Reinforcement learning, serving as a competitive option to inject new training signals by creating new objectives that exploit novel signals, has demonstrated its power and flexibility to incorporate human inductive bias from multiple angles, such as adversarial learning, hand-designed rules and learned reward model to build a performant model. Thereby, reinforcement learning has become a trending research field and has stretched the limits of generative AI in both model design and application. It is reasonable to summarize and conclude advances in recent years with a comprehensive review. Although there are surveys in different application areas recently, this survey aims to shed light on a high-level review that spans a range of application areas. We provide a rigorous taxonomy in this area and make sufficient coverage on various models and applications. Notably, we also surveyed the fast-developing large language model area. We conclude this survey by showing the potential directions that might tackle the limit of current models and expand the frontiers for generative AI.

研究の動機と目的

• 多様な分野に跨る生成系AIの改善に、強化学習がどのように寄与できるかを高レベルで包括的に分析する。
• 生成モデリングにおけるRL手法を整理するための統一的な分類体系を導入する。
• 実用的な応用、課題、機会を議論する。非微分可能な設定や報酬設計を含む。
• RL統合生成システムの新興方向性と潜在的な将来の道筋を明らかにする。

提案手法

• 生成AIのRLに関する文献を整理するための調査と分類体系の開発。
• 生成タスクにおけるモデルフリーおよびモデルベースのRLの理論的・実践的議論。
• 非微分可能な成分や非ML訓練信号をRLがどのように扱えるかの分析。
• 識別器、手設計ルール、発散、データ駆動信号を含む報酬設計アプローチの検討。
• 現在の動向として、large language modelsとdiffusion modelsとの統合についての議論。

実験結果

リサーチクエスチョン

• RQ1 生成AIにおける最大尤度推定の限界を強化学習はどう解決できるか？
• RQ2 RL手法と生成モデルの交差点を、どの分類フレームワークが最もよく捉えるか？
• RQ3 生成タスクにおけるRLの主な課題と潜在的解決策は何か（例：非微分性、報酬が希薄、長期クレジット）？
• RQ4 LLMsや基盤モデルを含むRL対応生成システムの新興方向性と実践的な軌跡は何か？

主な発見

• RLは報酬関数を介して柔軟な目的を提供し、トレーニングデータ分布を超えた多様な特性への整合を可能にする。
• RLは離散的な決定を介して逆伝播することにより、非微分可能な生成パイプラインでの学習を可能にする。
• 価値ベース、方策ベース、Actor-Critic、モデルベースなど、さまざまなRLアプローチを生成設定に適用でき、DQN、PPO、SAC、A3Cといった手法が議論されている。
• 識別器ベースの報酬信号や手設計の報酬信号が、生成を導く際に一般的に用いられ、敵対的・対照的パラダイムを含む。
• 本調査は、RLと大規模モデルおよび拡散過程の統合を主要な新興トレンドとして強調している。