[論文レビュー] SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs

Lijun Yu, Yong Cheng+11 more|arXiv (Cornell University)|Jun 30, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、学習済みの大規模言語モデル（LLM）が、学習済みのベクトル量子化器を介して画像を解釈可能で意味的に豊かな語彙的トークンに変換することにより、マルチモーダルな画像理解および生成を可能にする、意味的ピラミッド自己符号化器（SPAE）を提案する。SPAEは、高レベルの意味的特徴と微細な視覚的詳細の両方をエンコードするためのマルチスケールピラミッド構造を採用しており、従来手法と比較して少サンプル画像分類精度で25%の絶対的向上を達成するとともに、コンテキスト内学習を用いたゼロショット画像生成を可能にした。

ABSTRACT

In this work, we introduce Semantic Pyramid AutoEncoder (SPAE) for enabling frozen LLMs to perform both understanding and generation tasks involving non-linguistic modalities such as images or videos. SPAE converts between raw pixels and interpretable lexical tokens (or words) extracted from the LLM's vocabulary. The resulting tokens capture both the semantic meaning and the fine-grained details needed for visual reconstruction, effectively translating the visual content into a language comprehensible to the LLM, and empowering it to perform a wide array of multimodal tasks. Our approach is validated through in-context learning experiments with frozen PaLM 2 and GPT 3.5 on a diverse set of image understanding and generation tasks. Our method marks the first successful attempt to enable a frozen LLM to generate image content while surpassing state-of-the-art performance in image understanding tasks, under the same setting, by over 25%.

研究の動機と目的

• 学習済みLLMを、微調整なしに画像および動画を含むマルチモーダルタスクに活用できるようにすること。
• 学習済みLLMの語彙空間と視覚的モダリティの間のギャップを、解釈可能で意味的に意味のある表現によって埋めること。
• 微調整なしに画像理解と生成の両方を可能にする、スケーラブルでLLMに依存しない方法を構築すること。
• 階層的でマルチスケールのピラミッド構造を活用することで、視覚からテキストへのトークン化における再構築品質と意味的正確性を向上させること。

提案手法

• SPAEは、上位レイヤーが意味的コンセプトを表し、下位レイヤーが微細な視覚的詳細をエンコードする階層的でマルチスケールのピラミッド構造を採用している。
• モデルは、画像特徴を学習済みのベクトル量子化器を用いて、LLMの語彙に含まれる離散的で解釈可能なトークンにマッピングし、学習済みLLMとの直接的な相互作用を可能にしている。
• 各レイヤーごとのしきい値を用いた動的意味的損失により、上位レイヤーで意味的コンテンツが保持され、下位レイヤーで再構築の正確性が維持される。
• 事前学習済みネットワークからの知覚的損失を統合することで、画像再構築品質が向上するが、アブレーション実験では分類性能にほとんど影響を与えずに削除可能である。
• トークン長を調整可能に設計されており、理解タスクでは少ないトークン、生成タスクでは多いトークンを用いることで、コンテキストウィンドウ制約を効率的に活用できる。
• SPAEモデル全体は、LLMを逆伝播しない独立した学習で訓練されており、任意の学習済みLLMと互換性がある。

Figure 1 : Framework of the proposed SPAE model. An image is encoded into a pyramid of lexical tokens capturing semantic concepts and appearance details necessary for reconstruction.

実験結果

リサーチクエスチョン

• RQ1 微調整やパラメータ更新なしに、学習済みLLMを画像生成に効果的に活用できるか？
• RQ2 視覚的コンテンツを、学習済みLLMの語彙と互換性があり、離散的で解釈可能で意味的に意味のあるトークン空間にマッピングする方法は何か？
• RQ3 どのようなアーキテクチャ設計が、統一されたマルチモーダル表現において、高レベルの意味的理解と微細な再構築を両立できるか？
• RQ4 平坦な構造や標準的なVQ-VAEと比較して、階層的でピラミッド構造のトークン化は、多様なマルチモーダルタスクにおいてどの程度性能を向上させるか？
• RQ5 学習済みLLMを用いたコンテキスト内学習と、意味に配慮した視覚的トークナイザーを組み合わせることで、画像理解タスクで最先端の性能を達成できるか？

主な発見

• SPAEは、同じコンテキスト内学習設定下で、mini-ImageNetにおける少サンプル画像分類精度を25%の絶対的向上（65.1%）を達成し、従来の最先端手法（40.1%）を上回った。
• 本手法は、コンテキスト内ノイズ除去を用いたゼロショット画像生成を可能にし、微調整なしに学習済みLLMを直接画像生成に使用した初の成功例である。
• 6層のピラミッド構造と、ベースレイヤーに597個のトークンを用いた構成が、再構築品質（FID: 4.41）と意味的正確性の間で最良のトレードオフを実現した。
• 知覚的損失を削除すると、意外にも分類精度が向上（69.5% vs. 65.1%）するが、画像再構築品質は低下し、意味的正確性と知覚的正確性のトレードオフが明らかになった。
• アブレーションスタディにより、動的意味的重み付けと各レイヤーごとのしきい値が、特に分類タスクにおいて性能向上に顕著に寄与することが確認された。
• 本手法はLLMに依存せず、PaLM 2およびGPT-3.5の両方で成功裏に評価され、既存の学習済みLLMとの広範な互換性を示した。

Figure 2 : An example of the conditional image denoising task for high resolution synthesis. The context comprises images randomly corrupted in the token space.