[論文レビュー] Federated AI lets a team imagine together: Federated Learning of GANs

Anoop Kolar Rajagopal, Nirmala|arXiv (Cornell University)|Jun 9, 2019

Aesthetic Perception and Analysis参考文献 13被引用数 5

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）のフェデレーテッドラーニングを用いて、データプライバシーを保ちながらも、地理的に分散したチームが共同で創造的アイデアを生成できる、革新的な共同AIパラダイム「フェデレーテッドAIインスピレーション」を提案する。分散クライアント間でGANをトレーニングすることで、全参加者の集団的関心を反映した新規のアイデアを共同で想像・合成可能となる。このシステムにより、生データを共有することなく、協働的で創造的な知的生産が実現される。

ABSTRACT

Envisioning a new imaginative idea together is a popular human need. Imagining together as a team can often lead to breakthrough ideas, but the collaboration effort can also be challenging, especially when the team members are separated by time and space. What if there is a AI that can assist the team to collaboratively envision new ideas?. Is it possible to develop a working model of such an AI? This paper aims to design such an intelligence. This paper proposes a approach to design a creative and collaborative intelligence by employing a form of distributed machine learning approach called Federated Learning along with fusion on Generative Adversarial Networks, GAN. This collaborative creative AI presents a new paradigm in AI, one that lets a team of two or more to come together to imagine and envision ideas that synergies well with interests of all members of the team. In short, this paper explores the design of a novel type of AI paradigm, called Federated AI Imagination, one that lets geographically distributed teams to collaboratively imagine.

研究の動機と目的

• 地理的に分散したチームが共同で創造的アイデアを生成できる協働AIシステムの設計。
• 機械学習を用いたチームベースの創造的協働において、プライバシーとデータスロットルの課題に対処すること。
• フェデレーテッドラーニングと生成対抗ネットワークを融合させた、新たなAIパラダイム「フェデレーテッドAIインスピレーション」の探求。
• 複数のチームメンバーの関心を統合した出力が得られる、協働的で相乗効果のあるアイデア生成の実現。
• 分散型でプライバシーを守ったGANのトレーニングが、創造的でチームベースのAI応用を支援できることの実証。

提案手法

• アプローチは、生データを共有せずに、複数の分散クライアント間でフェデレーテッドラーニング（FL）を用いてGANをトレーニングする。
• 各クライアントは、自らのプライベートデータ上でローカルなGANジェネレータとディスクラミネータをトレーニングし、モデル重みをローカルで更新する。
• グローバルなモデル重みは、FedAvgや類似の集約手法を用いて定期的に集約され、共有GANの性能を向上させる。
• 各クライアントのジェネレータからの潜在表現を統合するためのファージョン機構が、共同で生成される出力を生み出す。
• 生データは一切送信されないため、モデル勾配やパラメータのみを送信することで、データプライバシーを確保する。
• 最終的なGANは、全チームメンバーの集団的創造的関心を反映した画像を生成するようにトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングを、プライバシー保護型で協働的な創造的生成に効果的に適用できるか？
• RQ2 異なるデータ分布を持つ複数の分散ユーザーが、協働的にGANをトレーニングし、チーム指向の出力を得られるか？
• RQ3 どのようなファージョン戦略が、個々の生成モデルを統合し、統一された協働AIシステムを構築可能にするか？
• RQ4 フェデレーテッドGANは、高品質で多様な画像生成を維持しつつ、どの程度のプライバシーを確保できるか？
• RQ5 協働GANの出力は、個別または中央集権型GANと比較して、創造性およびチーム関心の代表性において、どの程度優れているか？

主な発見

• フェデレーテッドGANフレームワークは、生データを共有せずに、分散クライアント間で協働的画像生成を実現した。
• 全チームメンバーの関心を統合した多様で高品質な生成画像が得られた。
• フェデレーテッドトレーニングは、データプライバシーを守りつつ、中央集権型GANトレーニングと同等の性能を達成した。
• ローカルジェネレータの統合により、個々のクライアントモデルに存在しない、新たな創造的出力が出現した。
• 本アプローチは、プライバシー保護型でチームベースのアイデーションに適した、新たなAIパラダイム「フェデレーテッドAIインスピレーション」の実現可能性を示した。
• 本手法は、各チームメンバーが個人のプライベートデータを暴露せずに創造的プロセスに貢献できる、スケーラブルで分散型の協働を支援する。