[論文レビュー] Tensor-based Emotion Editing in the StyleGAN Latent Space

René Haas, Stella Graßhof+1 more|arXiv (Cornell University)|May 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、StyleGAN2の潜在空間における感情とヨー回転の分離された意味的方向を発見するため、ハイパースペーシング特異値分解（HOSVD）を用いたテンソルベースの手法を提案する。e4eエンコーダーを用いてBU-3DFE 3次元顔面表情データベースをW+空間に埋め込むことで、6つの代表的感情およびヨー回転のグローバルで線形の方向を抽出し、実際の顔画像に対して高精細かつアイデンティティを保持した編集を可能にした。この手法は、最先端（SOTA）手法と同等の性能を示した。

ABSTRACT

In this paper, we use a tensor model based on the Higher-Order Singular Value Decomposition (HOSVD) to discover semantic directions in Generative Adversarial Networks. This is achieved by first embedding a structured facial expression database into the latent space using the e4e encoder. Specifically, we discover directions in latent space corresponding to the six prototypical emotions: anger, disgust, fear, happiness, sadness, and surprise, as well as a direction for yaw rotation. These latent space directions are employed to change the expression or yaw rotation of real face images. We compare our found directions to similar directions found by two other methods. The results show that the visual quality of the resultant edits are on par with State-of-the-Art. It can also be concluded that the tensor-based model is well suited for emotion and yaw editing, i.e., that the emotion or yaw rotation of a novel face image can be robustly changed without a significant effect on identity or other attributes in the images.

研究の動機と目的

• 代表的顔面感情およびヨー回転に対応する、StyleGAN2の潜在空間における分離された意味的方向を発見すること。
• 潜在コードの再構築精度と編集可能性を向上させるために、e4eエンコーダーを用いることで、先行のHOSVDベースのモデルを改善すること。
• 再計算なしに任意の潜在コードに直接適用可能な、グローバルで再利用可能な意味的方向を可能にすること。
• 定量的指標と事前学習済みの表情分類器を用いて、編集の意味的解釈可能性と視覚的品質を検証すること。

提案手法

• BU-3DFE 3次元顔面表情データベースがe4eエンコーダーを用いてStyleGAN2のW+潜在空間に埋め込まれ、高品質で編集可能な潜在コードが得られる。
• 符号化されたデータからマルチリニアテンソルモデルが構築され、HOSVDが適用されてテンソルがコア成分と因子行列に分解され、アイデンティティ、表情、ヨーの意味的部分空間が分離される。
• 感情およびヨーの部分空間が切り詰められ、特定の感情状態や回転角度に対応する潜在空間内の線形方向が抽出される。
• 得られた方向が、再トレーニングや再推定なしに、W+空間内の任意の潜在コードに直接適用され、顔の表情編集や正面化が可能になる。
• 先行の低ランク近似とは対照的に、テンソルモデルでフルランクパラメータ化を用いることで、再構築忠実度が向上する。
• 編集は、知覚的（LPIPS）およびアイデンティティ（ArcFace）類似度指標に加え、FER2013で事前学習済みの表情分類器（PyFeat）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 HOSVDベースのテンソルモデリングは、StyleGAN2のW+空間において、顔面感情およびヨー回転のための分離され、グローバルな意味的方向を発見できるか？
• RQ2 e4eエンコーダーの使用は、直接マッピングと比較して、潜在コードの品質と編集可能性をどのように向上させるか？
• RQ3 発見された方向は、編集中に他の属性と混合せずに、アイデンティティをどの程度保持するか？
• RQ4 提案手法の視覚的および定量的結果は、GANSpace や InterFaceGAN といった最先端手法と比較して、どのように異なるか？
• RQ5 一部の感情編集（恐れ、嫌悪）では分類器出力に予期しないラベルシフトが見られるが、これはモデルの限界か、データ分布の違いによるものか？

主な発見

• 提案手法は、GANSpace や InterFaceGAN といった最先端手法と同等の視覚的編集品質を達成しており、定性的な比較で確認された。
• FEIデータベースにおける定量的評価では、LPIPSが 0.305 ± 0.004（InterFaceGAN：0.315 ± 0.003）で低く、ArcFaceのアイデンティティ類似度が 0.372 ± 0.008（InterFaceGAN：0.402 ± 0.008）で高く、正面化の忠実度が優れていることが示された。
• 当手法では、正面化された画像の視線方向がまっすぐ前を向いていたが、InterFaceGANでは視線がずれていた。
• 表情編集により、意図した感情クラス（怒り、喜び、悲しみ、驚き）の確率質量が増加した。これは意味的解釈可能性を裏付けた。
• 嫌悪方向の編集では、嫌悪と怒りの両方の確率が上昇したが、恐れの編集では驚きの確率が上昇した。これは、BU-3DFEとFER2013の間でデータ分布の違いが原因であり、モデルの限界によるものではない。
• 本手法はグローバルで再利用可能な方向を可能にした：一度計算された方向は、再推定なしに任意の潜在コードに適用可能であり、従来手法と比較して大幅に効率が向上した。