[論文レビュー] Diffusion-based Reinforcement Learning for Edge-enabled AI-Generated Content Services

Hongyang Du, Zonghang Li+5 more|arXiv (Cornell University)|Mar 23, 2023

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本論文は、拡散モデルベースの離散決定最適化アルゴリズムであるAGODを提案し、それをDRLに組み込んだD2SACとして統合することで、Metaverse向けのエッジベースAIGCサービスにおけるASP選択を最適化する。実験により、D2SACは複数のDRLベースラインを上回ることが示された。

ABSTRACT

As Metaverse emerges as the next-generation Internet paradigm, the ability to efficiently generate content is paramount. AIGenerated Content (AIGC) emerges as a key solution, yet the resource intensive nature of large Generative AI (GAI) models presents challenges. To address this issue, we introduce an AIGC-as-a-Service (AaaS) architecture, which deploys AIGC models in wireless edge networks to ensure broad AIGC services accessibility for Metaverse users. Nonetheless, an important aspect of providing personalized user experiences requires carefully selecting AIGC Service Providers (ASPs) capable of effectively executing user tasks, which is complicated by environmental uncertainty and variability. Addressing this gap in current research, we introduce the AI-Generated Optimal Decision (AGOD) algorithm, a diffusion model-based approach for generating the optimal ASP selection decisions. Integrating AGOD with Deep Reinforcement Learning (DRL), we develop the Deep Diffusion Soft Actor-Critic (D2SAC) algorithm, enhancing the efficiency and effectiveness of ASP selection. Our comprehensive experiments demonstrate that D2SAC outperforms seven leading DRL algorithms. Furthermore, the proposed AGOD algorithm has the potential for extension to various optimization problems in wireless networks, positioning it as a promising approach for future research on AIGC-driven services. The implementation of our proposed method is available at: https://github.com/Lizonghang/AGOD.

研究の動機と目的

• 無線エッジサーバー上でAIGCモデルを展開し、包括的なAIGCサービスを実現するAIGC-as-a-Service (AaaS) アーキテクチャを導入する。
• 環境不確実性の下で最適な離散決定を生成する拡散モデルベースの最適化器AGODを開発する。
• ASP（AIGCサービス提供者）選択のためにAGODをDRLと組み合わせてDeep Diffusion Soft Actor-Critic(D2SAC)アルゴリズムを作成する。
• D2SACが複数のDRLベースラインを上回ることを示し、AGODを他のワイヤレスネットワーク最適化問題へ拡張する可能性を検討する。

提案手法

• ASP選択を資源制約下のオンライン離散最適化問題として、人間を考慮したユーティリティとともに定式化する。
• 環境状態に条件付けられた離散決定分布を生成する拡散過程を用いるAGODアルゴリズムを開発する。
• 最適な決定分布を得るための前向き確率ノイズ付加過程と逆方向のデノイズ過程を記述する。
• AGODをDRL SACフレームワークに組み込み、D2SACアルゴリズムを生み出す。
• BRISQUEなどのコンテンツ品質評価に基づくヒトを意識したユーティリティ関数と拡散モデル支援の意思決定を用いる。
• D2SACをASP選択および制御タスクにおいて7つのDRLベースラインと比較する実装と評価を提供する。

Figure 1: The architecture of AIGC-as-a-Service in wireless edge networks. Part A is demo of AIGC service based on Stable Diffusion v1.5 as an example of deployable AIGC model for edge servers; Part B is network architecture of ASPs employing edge servers to deploy AIGC models for providing AaaS to

実験結果

リサーチクエスチョン

• RQ1 拡散モデルを用いて、資源制約と不確実性の下でASP選択の最適な離散決定を生成するにはどうすればよいか？
• RQ2 拡散ベースのDRL拡張（D2SAC）は、エッジベースのAIGCサービス提供のための標準的なDRLアルゴリズムを上回ることができるか？
• RQ3 ヒトを意識したコンテンツ品質指標がASP選択とユーザーのユーティリティに与える影響はどの程度か？
• RQ4 提案手法は、無線ネットワークの他の最適化問題へどれだけ一般化できるか？

主な発見

• D2SACはASP選択および標準制御タスクで7つの代表的なDRLアルゴリズムを上回る。
• AGODは環境状態に条件付けられた拡散過程を反転させることにより離散決定分布を生成する。
• AaaSアーキテクチャは、エッジ展開されたAIGCモデルを実現し、人間中心の最適化を提供する。
• ヒトを意識したユーティリティ関数はAIGCモデル出力品質を資源意識の意思決定へ結びつける。
• 本手法はASP選択を超える広範なワイヤレスネットワーク最適化問題へ拡張可能である。

Figure 2: Energy cost versus diffusion steps for stable-diffusion-v1-4 model inference.