[論文レビュー] End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks

Umut Güçlü, Yağmur Güçlütürk+6 more|arXiv (Cornell University)|Mar 9, 2017

Face recognition and analysis参考文献 11被引用数 18

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）、生成対抗ネットワーク（GAN）と条件付きランダムフィールド（CRF）を統合したエンド・ツー・エンドで学習可能な意味的顔分類モデルを提案する。4連結CRFグラフを用いて単一およびペairワイズのポテンシャルを学習し、ドーラットド畳み込みを用いてマルチスケールの文脈を取得し、敵対的学習によって高次の整合性を強制することで、Part LabelsおよびHelenデータセットで最先端の性能を達成し、髪の毛のような困難な部位の分類精度を顕著に向上させた。

ABSTRACT

Recent years have seen a sharp increase in the number of related yet distinct advances in semantic segmentation. Here, we tackle this problem by leveraging the respective strengths of these advances. That is, we formulate a conditional random field over a four-connected graph as end-to-end trainable convolutional and recurrent networks, and estimate them via an adversarial process. Importantly, our model learns not only unary potentials but also pairwise potentials, while aggregating multi-scale contexts and controlling higher-order inconsistencies. We evaluate our model on two standard benchmark datasets for semantic face segmentation, achieving state-of-the-art results on both of them.

研究の動機と目的

• 照明、ポーズ、表情、髪の毛のテクスチャの変動といった多様な条件下における意味的顔分類の課題に対処すること。
• エンド・ツー・エンドの学習、学習可能なCRFポテンシャル、マルチスケールの文脈、高次の整合性といった最近の意味的分類分野の進展を、一つの統合フレームワークに統合すること。
• 色の類似性と非剛体な構造のため、しばしば誤分類される髪の毛を含む、困難な顔の部位の分類を改善すること。
• 顔の構造的性質を活用し、ランドマークに条件づけるか、部位別に特化したモデルを学習することで、局所化精度を向上させること。
• オクルージョンやごみの影響に強く、エンド・ツー・エンドで微分可能であることを保ちながら、標準ベンチマークで最先端の性能を達成すること。

提案手法

• 4連結グラフ上の条件付きランダムフィールド（CRF）を、畳み込みニューラルネットワークと再帰ニューラルネットワークを組み合わせたエンド・ツー・エンドで微分可能なアーキテクチャとして定式化する。
• 単一およびペアワイズのCRFポテンシャルを微分可能な再帰ネットワークを通じて学習し、分類とCRFパラメータの共同最適化を可能にする。
• 受容 field を拡大し、解像度を落とさずにマルチスケールの文脈的情報を取得するために、ドーラットド畳み込みを組み込む。
• 予測の高次の整合性を強制するために敵対的学習を導入し、高次ポテンシャルの明示的モデリングなしに空間的な不整合を低減する。
• 顔のランドマークに条件づけるか、顔の各部位ごとに複数の特化したモデルを学習し、部位ベースの方法で出力を統合することで、局所化精度を向上させる。
• 実際の正解分類マップと生成された予測を区別するGANベースの識別器を用い、現実的で一貫性のある出力を促進する。

実験結果

リサーチクエスチョン

• RQ1 統合されたディープラーニングフレームワークは、エンド・ツー・エンドで微分可能でありながら、CRFにおける単一およびペアワイズのポテンシャルを同時に最適化できるか？
• RQ2 ドーラットド畳み込みと敵対的学習を組み込むことで、顔分類におけるマルチスケールの文脈統合と構造的整合性がどのように向上するか？
• RQ3 顔のランドマークに条件づけるか、部位別に特化したモデルを学習することで、細粒度の顔の構成要素の分類精度がどの程度向上するか？
• RQ4 提案されたCnnRnnGanモデルは、Part LabelsおよびHelenといった標準ベンチマークで、既存の最先端手法を上回る性能を示すか？
• RQ5 モデルの失敗モードは、髪の毛と背景の色の類似性や極端な顔の表情といった視覚的曖昧性とどのように関係しているか？

主な発見

• 提案されたCnnRnnGanモデルは、Part LabelsおよびHelenデータセットの両方で最先端の性能を達成し、平均Jaccardインデックスの観点で先行手法を上回った。
• Helenデータセットでは、初期分類（init.+5c.）に条件づけた複数の部位特化型CnnRnnGanヘッドを用いたモデルが、平均Jaccardインデックス0.7873を達成し、ベースラインの変種を顕著に上回った。
• 単純な変種と比較して、まゆげ（+0.2132）、目（+0.1936）、内側の口（+0.1843）といった困難な部位の分類精度が向上した。
• 敵対的学習により空間的な不整合が低減され、特に口や鼻のような複雑な領域で、より滑らかで一貫性のある予測が得られた。
• 失敗事例は、髪の毛の色が背景と非常に類似している場合、または顔の表情がニュートラルなポーズから著しく逸脱している場合に主に観察された。これは、色および形状の一般化能力に限界があることを示唆している。
• アブレーションスタディの結果、初期分類に条件づけた複数の部位特化型モデルを組み合わせることで、すべてのクラスにおいて最も一貫性があり正確な結果が得られることを確認した。