[論文レビュー] Wav2Pix: Speech-conditioned Face Generation using Generative Adversarial Networks

Amanda Duarte, Francisco Roldan+8 more|Dublin City University Open Access Institutional Repository (Dublin City University)|Mar 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 9

ひとこと要約

Wav2Pixは、顔の識別情報の監視なしに、収集済みの表現力のあるユーチューバー動画データセットを用いた自己教師付きアプローチにより、顔の識別情報を維持しながら、生の音声波形から高精細な顔画像を直接生成する条件付きGANを提案する。モデルは顔のランドマーク検出精度に90.25%を達成し、実用的な顔合成を示している一方で、50.08%のケースで発話者識別を維持している。

ABSTRACT

Speech is a rich biometric signal that contains information about the identity, gender and emotional state of the speaker. In this work, we explore its potential to generate face images of a speaker by conditioning a Generative Adversarial Network (GAN) with raw speech input. We propose a deep neural network that is trained from scratch in an end-to-end fashion, generating a face directly from the raw speech waveform without any additional identity information (e.g reference image or one-hot encoding). Our model is trained in a self-supervised approach by exploiting the audio and visual signals naturally aligned in videos. With the purpose of training from video data, we present a novel dataset collected for this work, with high-quality videos of youtubers with notable expressiveness in both the speech and visual signals.

研究の動機と目的

• 顔の参照画像や識別ラベルなしに、生の音声のみに条件づけられた写真のようにリアルな顔画像を生成すること。
• 動画データ内の自然な音声・視覚的整合性を活用して、マルチモーダル生成を検討すること。
• 弱い対応データや低品質なデータセットに依存しない自己教師付きトレーニングフレームワークを開発すること。
• 音声条件付き顔生成のための高品質で収集済みの表現力のあるユーチューバー動画データセットを構築すること。
• モデルの発話者識別情報の保持能力および多様でリアルな顔貌の生成能力を評価すること。

提案手法

• 条件付き最小二乗GAN（LSGAN）を用い、生成器と判別器の両方が生の音声波形に条件づけられる。
• 音声エンコーダーが生音声から128次元の埋め込みを抽出し、それが生成器および判別器の条件付けに投影・使用される。
• 生成器はノイズベクトルと音声埋め込みから顔画像を合成し、判別器は実際の顔と生成された顔を区別する。
• トレーニングは、新たに収集された高品質なユーチューバー動画の対応音声・視覚クリップを用いた自己教師付き学習で行われる。
• 手作業で特徴を設計せず、識別情報の監視なしに、エンドツーエンドでスクラッチからトレーニングされる。
• 残差ブロックと逆畳み込みを備えたマルチステージのU-Net型アーキテクチャが、画像生成に用いられる。

実験結果

リサーチクエスチョン

• RQ1 顔の識別情報の監視なし、参照画像なしに、生の音声波形から実用的な顔画像をGANが生成できるか？
• RQ2 音声条件付きGANは、生成された顔において発話者の識別をどの程度維持できるか？
• RQ3 音声セグメントの長さと画像解像度が、生成された顔の品質および検出可能性に与える影響は何か？
• RQ4 トレーニング中にノイズ混じりまたは低品質な音声入力が与えられた場合、モデルの性能はどの程度低下するか？
• RQ5 自然な動画内の音声・視覚的整合性を用いた自己教師付きアプローチは、明示的な識別ラベルを必要とする手法を上回る性能を示せるか？

主な発見

• 生成画像における顔のランドマーク検出精度が90.25%に達し、顔の構造とリアルさが強く保持されていることが示された。
• テストケースの50.08%で発話者識別情報が維持されており、中程度ではあるが意味のある識別情報の伝達が確認された。
• 1000msの音声チャンクを使用すると顔検出精度が最も高く（90.25%）、300msと700msのチャンクではそれぞれ81.16%および89.12%に低下した。
• 解像度が低いと画像品質が顕著に低下し、64×64の生成画像は128×128の出力よりもぼやけて見える。
• ノイズ混じりの音声や複数人の発話者がいるクリップなどの低品質な入力では、認識可能な顔が生成されない。
• 短い音声セグメントや低解像度の画像では性能が低下し、入力品質および空間的次元に敏感であることが示された。