[論文レビュー] Towards Audio to Scene Image Synthesis using Generative Adversarial Network

Chia-Hung Wan, Shun-Po Chuang+1 more|arXiv (Cornell University)|Aug 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 3

ひとこと要約

本論文は、スペクトル正規化、プロジェクションディスクリミネータ、ヘッジ損失、補助分類器を活用して、画像品質と意味的整合性を向上させる条件付き生成対抗ネットワーク（cGAN）を提案する。このモデルは、SOTA（最先端）のインセプションスコア2.83を達成し、生成画像と入力音声の間のヒューマンレーティング相関が強く、参加者の73％が画像を音声に関連するものと特定した。

ABSTRACT

Humans can imagine a scene from a sound. We want machines to do so by using conditional generative adversarial networks (GANs). By applying the techniques including spectral norm, projection discriminator and auxiliary classifier, compared with naive conditional GAN, the model can generate images with better quality in terms of both subjective and objective evaluations. Almost three-fourth of people agree that our model have the ability to generate images related to sounds. By inputting different volumes of the same sound, our model output different scales of changes based on the volumes, showing that our model truly knows the relationship between sounds and images to some extent.

研究の動機と目的

• 音声入力を用いて現実的でリアルなシーン画像を生成できる機械学習モデルの開発。これは、人間の聴覚的想像を模倣することを目的とする。
• 既存の動画データからペア化された音声・画像データセットを構築することで、音声を条件とするクロスモーダル生成モデルの不足を補う。
• 高度なGANトレーニング技術を用いて、音声から画像への変換における画像品質と意味的整合性を向上させること。
• モデルが音声の特徴（例：音量）と視覚的出力の間の意味的な関係を学習しているかどうかを評価すること。

提案手法

• 音声埋め込みを画像生成の条件とする条件付きGANフレームワークを採用する。
• トレーニングの安定化と生成器の一般化を向上させるために、スペクトル正規化を適用する。
• 本物と偽の特徴を共通空間に投影することで、特徴の識別性能を向上させるため、プロジェクションディスクリミネータを用いる。
• GANの目的関数におけるトレーニングの安定性と収束性を向上させるために、ヘッジ損失を採用する。
• 生成器が特定の音声クラスと整合した画像を生成するように導くために、補助分類器を統合する。
• 事前学習済みの画像分類モデルと音声分類モデルを用いて、SoundNetデータセットから関連する音声・音声セグメントと対応する動画フレームをフィルタリング・ペアリングし、クリーニング済みデータセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANは、音声入力から現実的で意味的に関連するシーン画像を生成できるか？
• RQ2 スペクトル正規化やプロジェクションディスクリミネータなどの高度なGAN技術は、音声から画像への変換における画像品質と多様性を向上させるか？
• RQ3 モデルは音量に応じて画像の内容を変化させることで、音の強度を理解していると見なせるか？
• RQ4 ヒューマンエバリュエーターは、生成画像と入力音声の関連性をどの程度的確に認識できるか？

主な発見

• 提案モデルはインセプションスコア2.83を達成し、ベースラインの条件付きGANを著しく上回り、4.44の上限に近づいた。
• ヒューマンエバリュエーションでは、すべての高度技術を組み込んだモデルが平均5点中3.70のスコアを獲得し、強い現実性と関連性が認識された。
• 参加者の73％が、聴いた音声に対応する画像を正しく特定した。これは、モデルが意味的に関連する出力を生成できることを示している。
• 同じ音声を異なる音量で入力した場合、モデルはそれに応じたスケール変化を伴う画像を生成した。これは、音の強度に学習された感受性があることを示している。
• アブレーションスタディにより、各高度技術（例：プロジェクションディスクリミネータ、補助分類器）が画像品質とヒューマンパーセプションの向上に段階的に寄与していることが確認された。