[論文レビュー] Selective Amnesia: A Continual Learning Approach to Forgetting in Deep Generative Models

Alvin Heng, Harold Soh|arXiv (Cornell University)|May 17, 2023

Generative Adversarial Networks and Image Synthesis被引用数 18

ひとこと要約

本論文は Selective Amnesia を提示する。継続学習を活用して、事前学習済みの深層生成モデル（VAE や拡散モデルを含む）における概念を、さまざまな概念とプロンプトにわたって制御可能に忘却させる方法。

ABSTRACT

The recent proliferation of large-scale text-to-image models has led to growing concerns that such models may be misused to generate harmful, misleading, and inappropriate content. Motivated by this issue, we derive a technique inspired by continual learning to selectively forget concepts in pretrained deep generative models. Our method, dubbed Selective Amnesia, enables controllable forgetting where a user can specify how a concept should be forgotten. Selective Amnesia can be applied to conditional variational likelihood models, which encompass a variety of popular deep generative frameworks, including variational autoencoders and large-scale text-to-image diffusion models. Experiments across different models demonstrate that our approach induces forgetting on a variety of concepts, from entire classes in standard datasets to celebrity and nudity prompts in text-to-image models. Our code is publicly available at https://github.com/clear-nus/selective-amnesia.

研究の動機と目的

• 大規模なテキストツーイメージモデルの悪用の防止を動機づけ、有害または望ましくない概念の制御可能な忘却を可能にする。
• 事前学習済みの条件付き変分尤度モデルにおいて特定の概念を忘却できる技術を開発する。
• VAE やテキストツーイメージ拡散モデルを含む多様な生成フレームワークに適用性を確保する。

提案手法

• Selective Amnesia を提案する。これは、事前学習済み生成モデルにおける概念を選択的に忘却する、継続学習に着想を得たアプローチである。
• この手法を条件付き変分尤度モデルに適用し、概念レベルでの忘却を可能にする。
• 標準データセットの全クラスからテキストツーイメージモデルにおける有名人やヌードといった特定のプロンプトまで、複数の概念に渡る忘却を実証する。
• 忘却を制御・標的化でき、全体的なモデル劣化を伴わずに実現できることを示す。

実験結果

リサーチクエスチョン

• RQ1 継続学習に着想を得たメカニズムは、事前学習済み生成モデルにおける特定の概念の制御可能な忘却を実現できるか。
• RQ2 Selective Amnesia は、多様な条件付き生成フレームワーク（例：VAEs および拡散モデル）と適合し、概念の深刻度の異なる状況で有効か。
• RQ3 テキストツーイメージ生成において、全クラスをターゲットにする場合と個々のプロンプトをターゲットにする場合では、忘却の程度と品質はどうなるか。

主な発見

• Selective Amnesia は、VAEs を含むモデルファミリーおよび大規模拡散モデルを含むさまざまな概念の忘却を誘発する。
• 標準データセットの全クラスだけでなく、テキストツーイメージ設定での有名人やヌードなどのプロンプトに対しても忘却が実証されている。
• この手法は、全体的なモデル機能を維持することを目指しつつ、対象概念に影響を与える制御可能な忘却を実現する。