[論文レビュー] Deep Cross-Modal Audio-Visual Generation

Lele Chen, Sudhanshu Srivastava+2 more|arXiv (Cornell University)|Apr 26, 2017

Music and Audio Processing参考文献 31被引用数 7

ひとこと要約

本論文は、条件付き生成対抗ネットワーク（cGAN）を用いた、最初の深層生成モデルを提案し、音声から視覚的画像を合成し、視覚的画像から音声スペクトログラムを生成するクロスモーダル音声視覚生成を実現する。この手法は、楽器レベルおよびポーズレベルの生成において優れた性能を示し、分類評価および人間評価によって検証された。また、今後の研究を目的として、Sub-URMP および INIS の2つの新しいデータセットを提供した。

ABSTRACT

Cross-modal audio-visual perception has been a long-lasting topic in psychology and neurology, and various studies have discovered strong correlations in human perception of auditory and visual stimuli. Despite works in computational multimodal modeling, the problem of cross-modal audio-visual generation has not been systematically studied in the literature. In this paper, we make the first attempt to solve this cross-modal generation problem leveraging the power of deep generative adversarial training. Specifically, we use conditional generative adversarial networks to achieve cross-modal audio-visual generation of musical performances. We explore different encoding methods for audio and visual signals, and work on two scenarios: instrument-oriented generation and pose-oriented generation. Being the first to explore this new problem, we compose two new datasets with pairs of images and sounds of musical performances of different instruments. Our experiments using both classification and human evaluations demonstrate that our model has the ability to generate one modality, i.e., audio/visual, from the other modality, i.e., visual/audio, to a good extent. Our experiments on various design choices along with the datasets will facilitate future research in this new problem space.

研究の動機と目的

• 深層学習におけるクロスモーダル音声視覚生成に関する体系的かつ包括的な研究の不足に取り組むこと。
• ペア化された音声視覚データを用いて、1つのモダリティ（音声または視覚）から他方のモダリティを生成するための条件付きGANの活用を検討すること。
• 音声（ロジマイルスペクトログラム経由）および視覚（畳み込みニューラルネットワーク（CNN）経由）信号の有効な符号化および復号化戦略の開発。
• 今後の研究を支援するため、音声視覚生成分野における新たな2つのデータセット（Sub-URMP および INIS）の構築および公開。
• 自動分類および人間評価の両方を用いた生成品質の評価。

提案手法

• 音声から視覚（S2I）および視覚から音声（I2S）へのマッピングをモデル化するために、条件付き生成対抗ネットワーク（cGAN）を用いる。
• 画像および音声表現の学習に、畳み込みニューラルネットワーク（CNN）ベースのエンコーダーとデコンボリューションデコーダーを採用。
• 音声の品質向上のため、生の音声をロジマイルスペクトログラム（LMS）に変換して入力とする。
• 実際のLMSを学習した分類器を用いて生成されたスペクトログラムの品質を評価し、正答率を品質の代理指標として用いる。
• 2つの異なる生成タスクを適用：楽器指向（S2I-C）およびポーズ指向（S2I-P）の画像生成。
• 両方向の実際のサンプルと生成されたサンプルを区別するため、識別器を用いた対抗的訓練を実施。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANは、音楽演奏の音声信号から高品質な視覚的画像を効果的に生成できるか？
• RQ2 モデルは、楽器を演奏するミュージシャンの視覚的画像から現実的な音声スペクトログラムを生成できるか？
• RQ3 時間周波数変換（例：ロジマイルスペクトログラム対生波形）の種類が、生成品質にどのように影響するか？
• RQ4 モデルはポーズレベルの生成にどの程度一般化できるか？特に、音楽演奏における微細な身体の動きを捉えられるか？
• RQ5 ネットワークアーキテクチャや損失関数といった設計選択が、生成音声および視覚出力の忠実度にどのように影響するか？

主な発見

• S2I-Cモデルはテストセットで分類器ベースの評価正答率75.56％を達成し、生成画像がターゲット楽器カテゴリと知覚的に整合していることを示した。
• I2Sモデルは、実物対偽物分類器で11.17％の正答率を示し、低正答率であるが故に部分的に現実的である可能性を示唆した。
• モデルは、1つのモデルから複数のプレイヤーが異なるポーズをとる画像を多様に生成でき、図10に示されたように、その多様性を実現した。
• 学習のダイナミクスから、識別器の性能が第50エポック前後で急激に低下しており、モード崩壊または学習不安定性を示唆したが、後に回復した。
• わずか5エポックの訓練後でも、生成画像は分類器正答率87.37％（訓練セット）を達成しており、意味のある視覚的特徴が急速に学習されたことを示した。
• ロジマイルスペクトログラムが生成に最も効果的な音声表現であると判明し、他の時間周波数変換手法を上回った。