[論文レビュー] PAI-Diffusion: Constructing and Serving a Family of Open Chinese Diffusion Models for Text-to-image Synthesis on the Cloud

Chengyu Wang, Zhongjie Duan+5 more|arXiv (Cornell University)|Sep 11, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

PAI-Diffusionは、一般およびドメイン特化型のバリエーションを備えたオープンソースの中国語拡散モデルのファミリを提供し、LoRAおよびControlNetを統合して詳細な画像編集を可能にします。統合ツール（中国語WebUIおよびdiffusers-api）を介してスケーラブルなクラウドベースのテキストから画像への合成を実現し、PAI-Blade最適化により推論速度が2–3倍向上しながらも、高品質な出力を維持しています。

ABSTRACT

Text-to-image synthesis for the Chinese language poses unique challenges due to its large vocabulary size, and intricate character relationships. While existing diffusion models have shown promise in generating images from textual descriptions, they often neglect domain-specific contexts and lack robustness in handling the Chinese language. This paper introduces PAI-Diffusion, a comprehensive framework that addresses these limitations. PAI-Diffusion incorporates both general and domain-specific Chinese diffusion models, enabling the generation of contextually relevant images. It explores the potential of using LoRA and ControlNet for fine-grained image style transfer and image editing, empowering users with enhanced control over image generation. Moreover, PAI-Diffusion seamlessly integrates with Alibaba Cloud's Machine Learning Platform for AI, providing accessible and scalable solutions. All the Chinese diffusion model checkpoints, LoRAs, and ControlNets, including domain-specific ones, are publicly available. A user-friendly Chinese WebUI and the diffusers-api elastic inference toolkit, also open-sourced, further facilitate the easy deployment of PAI-Diffusion models in various environments, making it a valuable resource for Chinese text-to-image synthesis.

研究の動機と目的

• 中国語の大きな語彙と複雑な文字レベルの依存関係による、中国語のテキストから画像への合成の課題に対処すること。
• 中国語の文脈（たとえば、詩、料理、伝統芸術など）に適した一般およびドメイン特化型の画像生成をサポートする包括的なフレームワークの開発。
• LoRAおよびControlNetの統合により、スタイル移行や編集を含む、画像生成における細かい制御を可能にすること。
• アリババクラウドのPAIプラットフォームとオープンソースのツールキットを活用した、スケーラブルでクラウドネイティブなデプロイメントの実現。
• すべてのモデル、LoRA、ControlNet、ツールキットをオープンソースライセンスで公開し、コミュニティの協働とイノベーションを促進すること。

提案手法

• フレームワークは、多様な中国語テキスト-画像データセットで事前学習された拡散モデルのファミリを採用し、中国料理や古典的詩といったドメインに特化したバリエーションを含む。
• LoRA（低ランク微調整）を適用して、フルモデルの再トレーニングなしに効率的なファインチューニングとスタイル移行を可能にし、ユーザーが視覚的属性を変更できるようにする。
• ControlNetを統合して、ポーズ、深度、セグメンテーションマップなどの条件に基づいて画像生成をガイドし、正確な編集とレイアウト制御を実現する。
• diffusers-apiツールキットは、RESTfulウェブサービスとしてモデルを公開し、テキストから画像、画像から画像、およびインpaintingを含む複数の推論タスクをサポートする。
• AIコンパイラーであるPAI-Bladeを用いて推論を最適化し、ネイティブPyTorchと比較して、エンドツーエンドの遅延とGPUメモリ使用量を最大18%まで削減する。
• 中国語に最適化されたカスタムWebUI拡張子により、Stable Diffusion WebUIの中国語プロンプト処理およびユーザーエクスペリエンスが向上する。

実験結果

リサーチクエスチョン

• RQ1 中国語の言語的複雑性（大きな語彙と文字レベルの依存関係を含む）に対応するため、拡散モデルをどのように効果的に適応できるか？
• RQ2 ドメイン特化型のファインチューニングは、中国の文化的なニッチな文脈における画像の関連性と品質をどの程度向上できるか？
• RQ3 LoRAおよびControlNetを活用することで、中国語のテキストから画像への生成におけるスタイルや構成の細かい制御が実際に可能になるか？
• RQ4 最適化された推論を備えたクラウドベースのデプロイは、中国語拡散モデルのスケーラビリティ、パフォーマンス、アクセシビリティにどのように影響するか？
• RQ5 実際のデプロイメント環境において、コンパイラー最適化された推論パイプライン（PAI-Blade）は、標準のPyTorch推論と比較してどの程度のパフォーマンス向上を達成できるか？

主な発見

• NVIDIA A10 GPU上で、diffusers-apiツールキットは平均6.34秒のネイティブPyTorch実装と比較して2.14倍の高速化を達成し、平均推論時間は2.96秒にまで短縮された。
• 最適化されたdiffusers-apiパイプラインを用いることで、GPUメモリ使用量は6.94 GBから5.56 GBにまで削減され、リソース効率の向上が確認された。
• フレームワークは中国料理、詩、伝統的絵画など多様なドメイン特化型モデルを効果的にサポートし、文脈的に適切な画像生成を可能にした。
• 中国語モデルにLoRAおよびControlNetを効果的に統合し、ユーザーが画像のスタイルや構造を高い精度で操作できるようになった。
• すべてのモデルチェックポイント、LoRA、ControlNet、およびツールキット（WebUIおよびdiffusers-api）をオープンソースで公開したことで、多様な環境での広範な採用とカスタマイズが可能になった。
• パフォーマンスベンチマークにより、PAI-Blade最適化が完全な精度を維持しながら、クラウドベースの推論における遅延とメモリ使用量を顕著に削減することが確認された。