[論文レビュー] I Hear Your True Colors: Image Guided Audio Generation

Roy Sheffer, Yossi Adi|arXiv (Cornell University)|Nov 6, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本論文では、CLIPでエンコードされた画像特徴量を条件とする二段階型のTransformerベースの言語モデルを活用し、画像または動画から意味的に関連する音声を生成する、画像誘導型音声生成システムIm2Wavを提案する。この手法は、音声の高精細度と視覚的関連性の両面で最先端の性能を達成しており、FAD、Clip-Score、KLダイバージェンスといった指標において、ベースラインを著しく上回っている。また、ドメイン外評価のためのImageHearベンチマークを導入した。

ABSTRACT

We propose Im2Wav, an image guided open-domain audio generation system. Given an input image or a sequence of images, Im2Wav generates a semantically relevant sound. Im2Wav is based on two Transformer language models, that operate over a hierarchical discrete audio representation obtained from a VQ-VAE based model. We first produce a low-level audio representation using a language model. Then, we upsample the audio tokens using an additional language model to generate a high-fidelity audio sample. We use the rich semantics of a pre-trained CLIP (Contrastive Language-Image Pre-training) embedding as a visual representation to condition the language model. In addition, to steer the generation process towards the conditioning image, we apply the classifier-free guidance method. Results suggest that Im2Wav significantly outperforms the evaluated baselines in both fidelity and relevance evaluation metrics. Additionally, we provide an ablation study to better assess the impact of each of the method components on overall performance. Lastly, to better evaluate image-to-audio models, we propose an out-of-domain image dataset, denoted as ImageHear. ImageHear can be used as a benchmark for evaluating future image-to-audio models. Samples and code can be found inside the manuscript.

研究の動機と目的

• 分類ラベルやペア化されたテキスト-音声データを必要とせず、オープンドメインで画像誘導型の音声生成を行うシステムの開発。
• 動画からの自然に存在する画像-音声ペアを活用することで、大規模なテキスト-音声ペアデータセットの不足を補う。
• 階層的離散トークンモデリングアプローチを用いて、画像から音声への生成における音声の高精細度と視覚的関連性を向上させる。
• 画像から音声へのモデル評価を標準化するため、ImageHearという新しいドメイン外ベンチマークデータセットを導入する。
• 分類器フリーのガイドランス、アップサンプリング、フレーム単位の条件付けといった主要な構成要素が生成品質に与える影響を調査する。

提案手法

• Im2Wavは、低解像度レベルでの離散的音声トークンに変換するために、階層的VQ-VAEを用いる。
• 第一段階の自己回帰的Transformer言語モデルが、CLIPでエンコードされた画像特徴量を条件として、低レベルの離散的音声トークンを生成する。
• 第二段階の自己回帰的Transformerが、低レベルのトークンを高解像度にアップサンプリングし、音声の高精細度を向上させる。
• 分類器フリーのガイドランスを適用することで、生成音声と入力画像の整合性を向上させ、視覚的関連性を強化する。
• システムは単一の画像または複数の画像（動画）を条件として用い、各フレームからCLIP特徴量を抽出する。
• 音声生成は、二段階モデルから自己回帰的にトークンをサンプリングし、その後VQ-VAEデコーダーを用いて復元することで実行される。

実験結果

リサーチクエスチョン

• RQ1 テキスト-音声変換型の言語モデルアーキテクチャを、テキストや分類ラベルを必要とせずに、高精細度で意味的に関連する音声を画像から生成するために適応可能か？
• RQ2 CLIPでエンコードされた画像特徴量を条件とするアプローチが、他の視覚的表現と比較して、音声の関連性と品質においてどのように優れているか？
• RQ3 分類器フリーのガイドランスは、オープンドメイン音声生成における画像-音声整合性の向上にどのような影響を及えるか？
• RQ4 アップサンプリング、フレーム単位の条件付け、分類器フリーのガイドランスといった個々の構成要素が、最終的な音声生成性能に与える影響は何か？
• RQ5 ImageHearのような新しいドメイン外ベンチマークは、画像から音声への生成モデルの信頼性の高い標準化された評価プロトコルを提供できるか？

主な発見

• Im2Wavは、Fréchet Audio Distance (FAD) 6.41を達成し、次に優れたベースラインのFAD 8.86を著しく上回った。
• ImageHearベンチマークでは、Im2WavはClip-Score (CS) 9.53および音声分類器の正確度49.14%を達成し、強い視覚的関連性とクラス分布の整合性を示した。
• 分類器フリーのガイドランス（CFG）を適用すると、視覚的関連性が向上し、ImageHearにおけるCSは7.30から9.53に、正確度は26.67%から49.14%に上昇した。アップサンプリングと組み合わせた場合に顕著な向上が見られた。
• アップサンプリングモデルの導入により、FADは12.47から6.41に低下し、音声の高精細度が著しく向上したことが示された。
• アブレーションスタディの結果、CFGとアップサンプリングは性能向上に強く独立した効果を示したが、フレーム単位の条件付け（Every）はわずかな、限定的な影響にとどまった。
• 提案されたImageHearベンチマークにより、ドメイン外評価が信頼性高く可能となり、結果として単一の画像では複雑な動画シーケンスよりもモデルの性能が優れていることが示された。