[論文レビュー] Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task

Maya Okawa, Ekdeep Singh Lubana+2 more|arXiv (Cornell University)|Oct 13, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿は、概念グラフフレームワークに基づく合成的・データ制御型の設定を用いて、条件付き拡散モデルにおける構成的汎化を調査する。構成的能力は乗法的に出現する——概念グラフ構造に整合した逐次的学習によって駆動され、代表度が低い属性は一般化するまでに著しく多くの最適化ステップを要することが明らかになった。これは、生成モデルにおける急激な性能上昇や失敗モードを説明する。

ABSTRACT

Modern generative models exhibit unprecedented capabilities to generate extremely realistic data. However, given the inherent compositionality of the real world, reliable use of these models in practical applications requires that they exhibit the capability to compose a novel set of concepts to generate outputs not seen in the training data set. Prior work demonstrates that recent diffusion models do exhibit intriguing compositional generalization abilities, but also fail unpredictably. Motivated by this, we perform a controlled study for understanding compositional generalization in conditional diffusion models in a synthetic setting, varying different attributes of the training data and measuring the model's ability to generate samples out-of-distribution. Our results show: (i) the order in which the ability to generate samples from a concept and compose them emerges is governed by the structure of the underlying data-generating process; (ii) performance on compositional tasks exhibits a sudden "emergence" due to multiplicative reliance on the performance of constituent tasks, partially explaining emergent phenomena seen in generative models; and (iii) composing concepts with lower frequency in the training data to generate out-of-distribution samples requires considerably more optimization steps compared to generating in-distribution samples. Overall, our study lays a foundation for understanding capabilities and compositionality in generative models from a data-centric perspective.

研究の動機と目的

• 拡散モデルにおける構成的汎化の失敗メカニズム、特に分布外設定における原因を理解すること。
• データ生成プロセスの構造が、構成的能力の出現順序にどのように影響するかを調査すること。
• 訓練データにおける概念頻度と表現が、モデルの汎化性能に与える影響を検討すること。
• 代表度が低い属性に対して特に顕著な遅延的出現や誤った一般化を含む、構成的汎化の失敗モードを同定すること。
• 生成モデルにおける発現的能力を診断・予測するデータ中心のフレームワークを提供すること。

提案手法

• 著者らは、各ノードが属性の独自の組み合わせ（例：色、形状）を表し、エッジが概念レベルの差を表す概念グラフフレームワークを用いて、解釈可能な合成データセットを設計した。
• 条件付き拡散モデルは、画像とその対応する属性タプルのペアを学習対象とし、訓練データの概念頻度と分布を体系的に変化させた。
• モデルの性能は、訓練データからの概念的距離を構成的汎化の代理指標として用い、分布外サンプルの生成における正確さを測定した。
• 訓練データの構成を変更し、最適化ステップにわたる学習ダイナミクスをモニタリングするなど、制御された干渉を実施した。
• 実世界のデータ（CelebA）を用いて、合成設定を超えた一般化を検証した。性別を代表度が低い属性の代理として用いた。
• 訓練時間に伴う構成的能力の出現を追跡する新しい評価指標を導入し、失敗・成功の閾値を同定した。

実験結果

リサーチクエスチョン

• RQ1 概念グラフの幾何的構造は、拡散モデルにおける構成的汎化の逐次的出現にどのように影響するか？
• RQ2 同じくらい複雑に見えるにもかかわらず、なぜ一部の概念は成功に一般化する一方で、他の概念は予測不能に失敗するのか？
• RQ3 訓練データにおける概念頻度が、構成的汎化のタイミングと成功にどの程度影響を与えるか？
• RQ4 敵対的ファインチューニングは、構成的生成タスクにおける誤った一般化を緩和できるか？
• RQ5 代表度が低い属性が信頼性のある構成的汎化を達成するためには、どの程度の最適化閾値が必要か？

主な発見

• 構成的汎化は概念グラフの幾何的構造を尊重する順序で出現し、距離1のサンプル生成能力が距離2のものよりも先に出現する。
• 構成的タスクの性能には、構成要素タスクの性能に乗法的依存があるため、初期収束後に急激な「出現」が見られる。これは、性能の急上昇を説明する。
• 代表度が低い属性（例：レアカラー、CelebAにおける男性性別）を含む分布外サンプルを生成するには、分布内サンプルを生成するのよりも著しく多くの最適化ステップを要する。
• 代表度が低い属性の生成能力は、訓練分布で完璧な性能を達成した後でも、はるかに遅れて出現する。これはクラス不均衡に起因する。
• 特定の概念を訓練データに含めるための臨界閾値が存在し、有害または偏見のある概念の学習を意図的に防ぐために利用可能である。
• 敵対的ファインチューニングは誤った一般化の問題を解消しない。これは、こうした失敗がモデル容量の問題ではなく、根本的なデータ構造依存性に起因することを示している。