[論文レビュー] Unsupervised Eyeglasses Removal in the Wild

Bingwen Hu, Zhedong Zheng+3 more|arXiv (Cornell University)|Sep 16, 2019

Face recognition and analysis参考文献 65被引用数 4

ひとこと要約

本稿では、一貫した生成対抗ネットワーク（ERGAN）を用いた教師なしの眼鏡除去手法を提案する。この手法は、同時に眼鏡の除去と生成を学習することで、実世界の多様な眼鏡タイプや顔のポーズに対しても頑健な性能を発揮する。本手法は、除去の現実性と多様性において最先端の性能を達成するとともに、顔認証や顔の表情認識といった後続タスクの性能向上を図っている。

ABSTRACT

Eyeglasses removal is challenging in removing different kinds of eyeglasses, e.g., rimless glasses, full-rim glasses and sunglasses, and recovering appropriate eyes. Due to the large visual variants, the conventional methods lack scalability. Most existing works focus on the frontal face images in the controlled environment, such as the laboratory, and need to design specific systems for different eyeglass types. To address the limitation, we propose a unified eyeglass removal model called Eyeglasses Removal Generative Adversarial Network (ERGAN), which could handle different types of glasses in the wild. The proposed method does not depend on the dense annotation of eyeglasses location but benefits from the large-scale face images with weak annotations. Specifically, we study the two relevant tasks simultaneously, i.e., removing and wearing eyeglasses. Given two facial images with and without eyeglasses, the proposed model learns to swap the eye area in two faces. The generation mechanism focuses on the eye area and invades the difficulty of generating a new face. In the experiment, we show the proposed method achieves a competitive removal quality in terms of realism and diversity. Furthermore, we evaluate ERGAN on several subsequent tasks, such as face verification and facial expression recognition. The experiment shows that our method could serve as a pre-processing method for these tasks.

研究の動機と目的

• 顔のポーズ、照明、眼鏡の種類が著しく変動する制約のない実世界環境における眼鏡除去の課題に対処すること。
• 同一被験者に同一の眼鏡あり・なしのペアデータを必要とする従来手法の制限を克服すること。
• 各タイプごとに専用システムを用意するのではなく、さまざまな眼鏡タイプ（リムレス、フルリム、サングラスなど）に一般化可能なスケーラブルで統合されたモデルを開発すること。
• 二重学習スキームを用いて、眼鏡の除去と生成の両方を実行することで、特徴の学習と現実性の向上を図ること。
• 顔認証や顔の表情認識といった後続の顔関連タスクの前処理ツールとしての実用性を示すこと。

提案手法

• 二重学習フレームワークを用いて、眼鏡の除去と生成を同時に学習する統合型生成対抗ネットワーク（ERGAN）を提案する。
• 弱教師あり学習を採用：正確なバウンディングボックスやペア画像の代わりに、眼鏡あり・なしの二値ラベルのみを必要とする。
• CelebAの202,599枚の顔画像を用いて学習を実施。眼鏡ありと眼鏡なしの2つのセットに分割し、大規模かつ弱教師ありのラベル付けを可能にする。
• 顔の中心を基準に回転処理を実施する前処理ステップを導入し、ランドマークに基づく複雑なアライメントを回避するとともに、ポーズ変動に対する耐性を向上させる。
• サイクル整合性GANアーキテクチャを採用し、2枚の画像（眼鏡あり・なし）の目の領域を入れ替えることで、アイデンティティの保持と目の領域の現実的な生成を強制する。
• 生成器と識別器を目の領域に限定することで、局所的な詳細の忠実性を向上させるとともに、顔全体の生成の複雑さを低減する。

実験結果

リサーチクエスチョン

• RQ1 ペアデータが不要な教師なしのGANベース手法が、制約のない実世界の顔画像において多様な眼鏡タイプを効果的に除去できるか？
• RQ2 眼鏡の除去と生成を同時に学習することで、単一タスク手法と比較して、生成結果の品質と現実性がどのように向上するか？
• RQ3 提案手法が顔認証や顔の表情認識といった後続タスクの性能をどの程度向上させるか？
• RQ4 明示的なアライメントやポーズ正規化を必要とせずに、顔のポーズや眼鏡の外観の変動に対しても一般化可能か？
• RQ5 ペアラベルのない状況下でも、二重学習スキームが特徴の学習とアイデンティティの保持をどのように向上させるか？

主な発見

• 提案されたERGAN手法は、現実性と多様性の観点で、以前の最先端手法を上回る競争力ある性能を達成した。
• MeGlassデータセットにおいて、顔認証の正確性は眼鏡ありの73.65％から除去後の78.59％に向上し、眼鏡なしの画像の80.61％に近づいた。
• 除去後、一致する顔ペア間の平均ユークリッド距離が顕著に減少し、アイデンティティの保持が向上し、遮蔽の干渉が軽減されたことが示された。
• 眼鏡ありの状態では顔の表情認識の正確性が6.9％低下（73.65％対非眼鏡画像の80.61％）したが、除去後は78.59％に向上し、表情認識への明確な利益が得られた。
• 定性的な結果では、眼鏡ありの画像が頻繁に誤って「怒った」や「無表情」と分類されたが、除去後はすべて「笑顔」と正しく分類された。これは実用的価値を示している。
• 回転に基づく前処理により、ポーズの変動に対して頑健であることが確認され、複雑なアライメントを回避しながら、多様な頭部ポーズにおいても性能を維持した。