[論文レビュー] From Inference to Generation: End-to-end Fully Self-supervised Generation of Human Face from Speech

Hyeong-Seok Choi, Changdae Park+1 more|arXiv (Cornell University)|Apr 13, 2020

Speech and Audio Processing参考文献 28被引用数 13

ひとこと要約

本論文は、人為的アノテーションデータを一切使用せず、音声波形から直接高品質な人間の顔画像を生成するエンドツーエンドで完全に自己教師ありのフレームワークを提案する。クロスモodalなアイデンティティマッチングのための推論ネットワークを訓練し、それらを新規の相対的アイデンティティ GAN 損失（relidGANs）を用いて条件付き GAN と統合することで、声関連のアイデンティティ要因を関係のない顔の特徴から分離し、音声からの顔生成および顔検索において最先端の性能を達成した。

ABSTRACT

This work seeks the possibility of generating the human face from voice solely based on the audio-visual data without any human-labeled annotations. To this end, we propose a multi-modal learning framework that links the inference stage and generation stage. First, the inference networks are trained to match the speaker identity between the two different modalities. Then the trained inference networks cooperate with the generation network by giving conditional information about the voice. The proposed method exploits the recent development of GANs techniques and generates the human face directly from the speech waveform making our system fully end-to-end. We analyze the extent to which the network can naturally disentangle two latent factors that contribute to the generation of a face image - one that comes directly from a speech signal and the other that is not related to it - and explore whether the network can learn to generate natural human face image distribution by modeling these factors. Experimental results show that the proposed network can not only match the relationship between the human face and speech, but can also generate the high-quality human face sample conditioned on its speech. Finally, the correlation between the generated face and the corresponding speech is quantitatively measured to analyze the relationship between the two modalities.

研究の動機と目的

• 人為的アノテーションデータなしで、音声信号から顔画像を生成できるかどうかを調査すること。
• 人為的ラベルなしで推論段階と生成段階をリンクするエンドツーエンドの完全なフレームワークを開発すること。
• 音声からのアイデンティティ関連要因を、関係のない顔の特徴から分離可能な潜在空間に分離すること。
• 生成された顔画像と入力音声の間のアイデンティティの一貫性を向上させる新しい損失関数を設計すること。
• 自己教師あり設定下で、推論、生成、顔検索の各タスクにおけるモデルの性能を検証すること。

提案手法

• 2段階のフレームワーク：まず、自己教師ありの対照的学習を用いて、音声と顔の両モダリティ間で話者アイデンティティをマッチングするための推論ネットワーク（音声エンコーダーおよび顔エンコーダー）を訓練する。
• 訓練済みの音声エンコーダーを再利用し、条件付き GAN（cGAN）のジェネレータで使用するための擬似条件付き埋め込みを生成する。
• 顔と音声のペアが一致しない場合にペナルティを与えることで、アイデンティティの識別を向上させる、新規の相対的アイデンティティ cGAN 損失（relidGANs）を導入する。
• ジェネレータは、音声でエンコードされた埋め込みと確率的ノイズベクトルの両方に条件付けられて、声に関係のない顔の特徴をモデル化する。
• ディスクライマーは、本物と偽物の顔-音声ペアを区別するように訓練され、relidGANs 損失がアイデンティティの一貫性を強化する。
• このフレームワークにより、『ワイルド』な記録からの生の音声と動画データのみを用いてエンドツーエンドの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションデータなしで、完全に自己教師ありのモデルが音声と顔の間で話者アイデンティティをマッチングできるか？
• RQ2 生成モデルが音声波形にのみ条件付けられて、高精細な顔画像を生成できるか？
• RQ3 モデルは、声に関連するアイデンティティ要因を、関係のない顔の特徴からどの程度分離できるか？
• RQ4 提案された relidGANs 損失は、標準的な cGAN と比較して、生成された顔画像のアイデンティティの一貫性を向上させるか？
• RQ5 生成された顔画像をクエリとして使用した場合、話者アイデンティティがどの程度保持されているか？

主な発見

• 2択の顔-音声マッチングタスクにおいて、推論ネットワークは生成された顔に対して正しく対応する音声を 79.68% の正確さで特定した。
• 生成された顔を入力として用いた2択の顔-音声マッチングテストでは、正しい音声セグメントが 95.14% の正確さで選択された。
• L1距離を用いたトップ1顔検索精度は 12.97% を達成し、Speech2Face（8.34%）を上回り、relidGANs 損失の有効性を示した。
• 不一致アイデンティティ損失（mil）を除去したモデルではトップ1検索精度がたった 7.32% にとどまり、relidGANs 損失の重要性を裏付けた。
• トップ5検索結果では、モデルは一貫して正しい話者の顔画像を検索できたことから、強力なアイデンティティ保持性が示された。
• 定量的分析により、relidGANs 損失が GAN 学習プロセスにおける識別力の向上を通じて、アイデンティティの一貫性と生成品質を顕著に改善することが確認された。