[論文レビュー] From Cloud to Edge: Rethinking Generative AI for Low-Resource Design Challenges

Sai Krishna Revanth Vuruma, Ashley Margetts+3 more|arXiv (Cornell University)|Feb 20, 2024

Manufacturing Process and Optimization被引用数 5

ひとこと要約

本論文は、資源が限られた環境での設計を目的としたオフラインでエッジに展開可能な生成系AIソリューションの必要性を動機づけ、圧縮、エッジコンピューティング、TinyMLに着想を得たアプローチが途上国での実用化を可能にすると論じる。

ABSTRACT

Generative Artificial Intelligence (AI) has shown tremendous prospects in all aspects of technology, including design. However, due to its heavy demand on resources, it is usually trained on large computing infrastructure and often made available as a cloud-based service. In this position paper, we consider the potential, challenges, and promising approaches for generative AI for design on the edge, i.e., in resource-constrained settings where memory, compute, energy (battery) and network connectivity may be limited. Adapting generative AI for such settings involves overcoming significant hurdles, primarily in how to streamline complex models to function efficiently in low-resource environments. This necessitates innovative approaches in model compression, efficient algorithmic design, and perhaps even leveraging edge computing. The objective is to harness the power of generative AI in creating bespoke solutions for design problems, such as medical interventions, farm equipment maintenance, and educational material design, tailored to the unique constraints and needs of remote areas. These efforts could democratize access to advanced technology and foster sustainable development, ensuring universal accessibility and environmental consideration of AI-driven design benefits.

研究の動機と目的

• リモートかつ資源制約のある環境での設計を支援するためのオフラインでエッジ対応の生成系AIの必要性を動機づけ、概説する。
• 限られたメモリ、計算能力、エネルギー、接続性を持つエッジデバイスへ大規模マルチモーダルモデルを適応させる際の課題を特定する。
• 低リソース設計タスクに適したモデル圧縮、エッジコンピューティング、評価指標の実用的なアプローチを調査・提案する。

提案手法

• 現在のマルチモーダルおよび生成系AIモデル（LLMs、拡散モデル、VLMs）とそれらのエッジ展開における制限をレビューする。
• LLMsおよび拡散/ VLMsに関連する剪定、量子化、知識蒸留を含むモデル圧縮技術を検討する。
• オフラインで低リソースAIを端末上で実現するためのエッジコンピューティングとTinyMLの概念を説明する。
• 低コストと性能を重視したオフライン・低リソース設計タスクに適した評価指標を提案する。
• ハードウェアとソフトウェアの共同設計、分散計算、地域データセンターを含む潜在解決策を概説する。

Figure 1: Images and captions generated by CoDi given a wooden greenhouse design request.

実験結果

リサーチクエスチョン

• RQ1 資源制約のある環境で現行の生成系AIモデルをエッジデバイスに展開する際の主要な障壁は何か？
• RQ2 実用的なオフライン生成設計ツールを実現するのに最適なモデル圧縮とエッジコンピューティング戦略はどれか？
• RQ3 オフラインで局所的に訓練されたモデルは、遠隔地域の設計タスク（医療、農業、教育）をどのように支えつつ、持続可能性とアクセス性を確保できるか？

主な発見

• 現地データで訓練されたオフラインMLモデルは、地域特有の制約に設計ツールを適合させることができる。
• 剪定、量子化、蒸留などの圧縮技術は、エッジ展開におけるモデルサイズと推論要件を低減できる。
• エッジコンピューティングとTinyMLの概念は、遠隔地での迅速・プライベート・低帯域幅AIの実現に不可欠である。
• ハードウェアの進歩、カスタムアクセラレータ、分散計算の組み合わせは、オフラインで生成モデルを展開する際の資源制約を緩和できる。
• 低リソース設計の文脈と実用的な性能を反映する適切な評価指標が必要である。

Figure 2: Images and captions generated by CoDi given a design replacement intent.