[論文レビュー] On Learning Associations of Faces and Voices

Chang-Il Kim, Hijung Valentina Shin+4 more|arXiv (Cornell University)|May 15, 2018

Speech and Audio Processing参考文献 30被引用数 21

ひとこと要約

本稿では、三重損失に基づく共同埋め込みモデルを用いて顔と声の特徴を統合するクロスモダリティ表現学習フレームワークを提案し、未観測の顔と対応する声の照合において人間水準の性能を達成した。この手法は、性別、年齢、声の高さなどのデモグラフィック属性と相関する共有された意味的空間表現を学習し、新しい多様な音声映像データセットを用いた広範な人間実験と計算評価によって検証された。

ABSTRACT

In this paper, we study the associations between human faces and voices. Audiovisual integration, specifically the integration of facial and vocal information is a well-researched area in neuroscience. It is shown that the overlapping information between the two modalities plays a significant role in perceptual tasks such as speaker identification. Through an online study on a new dataset we created, we confirm previous findings that people can associate unseen faces with corresponding voices and vice versa with greater than chance accuracy. We computationally model the overlapping information between faces and voices and show that the learned cross-modal representation contains enough information to identify matching faces and voices with performance similar to that of humans. Our representation exhibits correlations to certain demographic attributes and features obtained from either visual or aural modality alone. We release our dataset of audiovisual recordings and demographic annotations of people reading out short text used in our studies.

研究の動機と目的

• 機械が人間の知覚能力を模倣して、未観測の顔と対応する声を関連付けることができるかどうかを調査すること。
• 非有名人の音声映像記録をより大規模かつ多様に含むデータセットを用いて、より正確な人間の性能ベースラインを確立すること。
• 顔と声の両方の特徴を、重複する知覚的およびデモグラフィック情報が捉えられる共有埋め込み空間に学習すること。
• モデルの顔声照合性能を評価し、デモグラフィック属性およびプロソディック特徴とその相関関係を分析すること。
• 今後の研究のためのデモグラフィック属性が付与された新しい多様な音声映像記録データセットを公開すること。

提案手法

• 顔と声の表現のための共有埋め込み空間を学習するために、三重損失に基づく深層学習フレームワークが用いられ、コサイン距離による直接比較が可能になった。
• 顔特徴は微調整されたVGG16ネットワークを、声特徴は事前学習済みのSoundNetモデルを用いて抽出した。
• 規模の大きさを考慮し、モデルの学習にはVoxCelebデータセットが使用されたが、人間実験は新たに収集された181名の非有名人を対象としたデータセットで実施された。
• 学習済み表現は、ゼロショット顔声照合タスクを用いて評価され、与えられた声に対して候補の中から最も妥当な顔を特定する能力が検証された。
• 両モodalのデータ拡張として、ランダムクロッピング、回転、反転、明るさ・コントラスト・音量のジャマリングが適用された。
• t-SNE可視化と教師あり分類が、学習済み表現の構造と情報含量を分析するために用いられた。

実験結果

リサーチクエスチョン

• RQ1 機械は、未観測の顔と対応する声を人間水準の性能で関連付けることができるか？
• RQ2 学習済みクロスモダリティ表現は、性別、年齢、人種といったデモグラフィック属性とどの程度相関しているか？
• RQ3 表現が声の高さや声の特徴といったプロソディック特徴をどの程度捉えているか？
• RQ4 多様で非有名人のデータセット上で、モデルの性能は人間ベースラインと比較してどの程度か？
• RQ5 アーキテクチャの選択や表現次元数は、照合精度にどのような影響を及えるか？

主な発見

• モデルは人間被験者と同等の顔声照合性能を達成し、機械が顔と声を人間水準の正確性で関連付けることができるようになったことを示した。
• 学習済み表現は性別と強く相関しており、これは教師あり実験における高い分類精度によって裏付けられた。
• 年齢と声の高さは中程度の相関を示したが、埋め込み空間の滑らかな遷移のため、年齢分類はやや精度に欠ける傾向にあった。
• モデルの性能は、全結合層の次元数にかかわらず安定しており、512次元を超えると顕著な向上は見られなかった。
• t-SNE可視化から、表現空間は性別と人種に基づいてサンプルが整理されており、連続的な年齢トレンドが観察された。これは意味的クラスタリングが有意義であることを示している。
• VoxCelebで学習を行ったにもかかわらず、モデルは新しい非有名人データセットへも良好に一般化しており、学習済み表現の転送可能性と耐障害性が確認された。