[論文レビュー] Demography-based Facial Retouching Detection using Subclass Supervised Sparse Autoencoder

Aparna Bharati, Mayank Vatsa+3 more|arXiv (Cornell University)|Sep 22, 2017

Face recognition and analysis参考文献 27被引用数 3

ひとこと要約

本論文は、年齢層に配慮した顔のリタッチ検出のための新規サブクラス監視付きスパースオートエンコーダー（S³A）を提案し、男性／女性および3つの民族（白人、中国人、インド系）を含む2つのリタッチツールを用いたマルチ・デモグラフィック・リタッチド・フェイスズ（MDRF）データセットを導入した。この手法は多様なデモグラフィーにおいて検出精度を向上させ、男性では95.9%、女性では94.3%の精度を達成し、先行する最先端モデルを上回っている。特に、民族間の設定において顕著な優位性を示している。

ABSTRACT

Digital retouching of face images is becoming more widespread due to the introduction of software packages that automate the task. Several researchers have introduced algorithms to detect whether a face image is original or retouched. However, previous work on this topic has not considered whether or how accuracy of retouching detection varies with the demography of face images. In this paper, we introduce a new Multi-Demographic Retouched Faces (MDRF) dataset, which contains images belonging to two genders, male and female, and three ethnicities, Indian, Chinese, and Caucasian. Further, retouched images are created using two different retouching software packages. The second major contribution of this research is a novel semi-supervised autoencoder incorporating "subclass" information to improve classification. The proposed approach outperforms existing state-of-the-art detection algorithms for the task of generalized retouching detection. Experiments conducted with multiple combinations of ethnicities show that accuracy of retouching detection can vary greatly based on the demographics of the training and testing images.

研究の動機と目的

• 性別や民族といったデモグラフィック要因が、顔のリタッチ検出アルゴリズムの性能に与える影響を調査すること。
• 既存の手法がリタッチ検出におけるデモグラフィックの多様性を考慮していないというギャップを是正すること。
• 多様な民族および性別グループにおいても高い精度を維持できる一般化された検出フレームワークの開発。
• 複数のデモグラフィーおよびツールをカバーする制御されたリタッチを含む、新しいベンチマークデータセットMDRFの導入。
• サブクラスレベルの監視を組み込んだ半教師ありオートエンコーダーを用いて、モデルの一般化性能を向上させること。

提案手法

• サブクラス情報（性別および民族）をスパースオートエンコーダーの学習に統合することで、リタッチ検出のための特徴学習を強化するサブクラス監視付きスパースオートエンコーダー（S³A）を提案。
• 325名の被験者を含み、3つの民族（白人、中国人、インド系）および2つの性別を含み、2種類の異なるソフトウェアツール（BeautyPlusおよびPortraitPro）でリタッチされた画像を含むMDRFデータセットを用いる。
• 2段階の学習プロセスを採用：まずラベルなしデータでスパースオートエンコーダーを事前学習し、その後、オリジナル画像とリタッチ画像を区別するためのサブクラスレベルの監視によるファインチューニングを実施。
• S³Aフレームワークの入力としてVGG-Face特徴を採用し、深層表現学習とスパースコーディングを統合することで、識別能を向上。
• 性別および民族をサブクラスラベルとして活用することで、スパarsityを促進しつつも識別力を維持する新しい損失関数を導入。
• 異なるデモグラフィックグループにおける一般化性能を評価するため、民族間および性別間のトレーニング／テストプロトコルを用いて性能を評価。

実験結果

リサーチクエスチョン

• RQ1 トレーニングおよびテストデータのデモグラフィック構成が、顔のリタッチ検出の精度に与える影響は何か？
• RQ2 性別および民族といったサブクラス情報を組み込んだ半教師ありオートエンコーダーは、多様な人口集団において検出性能を向上させることができるか？
• RQ3 提案されたS³Aモデルは、異なる民族および性別において、既存の最先端手法と比較して精度および一般化性能で優れているか？
• RQ4 同じリタッチツールを用いた場合、異なる民族群（白人、中国人、インド系）における相対的な検出難易度は何か？
• RQ5 リタッチツールの選択（例：BeautyPlus対PortraitPro）が、デモグラフィー全体にわたる検出性能に与える影響はどの程度か？

主な発見

• 提案されたS³Aモデルは、男性被験者で95.9%、女性被験者で94.3%の検出精度を達成し、Bharatiら[13]（90.3%および85.9%）およびVGG+SVM（79.3%および73.8%）を著しく上回っている。
• 民族間評価では、白人データで学習した場合に、白人テストセットで94.3%、中国人で91.9%、インド系で92.2%の精度を達成し、優れた一般化性能を示している。
• すべての民族間シナリオにおいて、標準偏差が最小（±1.1%～±2.3%）であり、高いロバスト性と一貫性を示している。
• リタッチはインド系の顔で最も検出が難しい（インド系データで学習した場合に92.2%の精度）、一方で中国人の顔は最も検出が容易で（中国人データで学習した場合に97.5%の精度）、顕著な差が認められた。
• S³Aフレームワークは、すべてのデモグラフィーの組み合わせにおいて検出性能を向上させ、特に民族間設定で最大の向上が観察され、一般化検出における有効性が確認された。
• 本研究では、ツール2（PortraitPro）によるリタッチはツール1（BeautyPlus）よりもわずかに検出が困難であることが判明し、すべてのデモグラフィーで1.4～3.0%の精度低下が見られた。