[論文レビュー] Edge-aware Graph Representation Learning and Reasoning for Face Parsing

Gusi Te, Yinglu Liu+3 more|arXiv (Cornell University)|Jul 22, 2020

Face recognition and analysis参考文献 36被引用数 4

ひとこと要約

本稿では、顔のパーサーのためのエッジに配慮したグラフ表現学習（EAGRNet）を提案する。顔の領域をグラフの頂点としてモデル化し、グラフ推論によって長距離依存関係を捉える。エッジに配慮した特徴集約とグラフ畳み込みを組み合わせることで、Helen、CelebAMask-HQ、LaPaの3つのデータセットで最先端の性能を達成し、計算コストの増加は最小限に抑えられる。

ABSTRACT

Face parsing infers a pixel-wise label to each facial component, which has drawn much attention recently. Previous methods have shown their efficiency in face parsing, which however overlook the correlation among different face regions. The correlation is a critical clue about the facial appearance, pose, expression etc., and should be taken into account for face parsing. To this end, we propose to model and reason the region-wise relations by learning graph representations, and leverage the edge information between regions for optimized abstraction. Specifically, we encode a facial image onto a global graph representation where a collection of pixels ("regions") with similar features are projected to each vertex. Our model learns and reasons over relations between the regions by propagating information across vertices on the graph. Furthermore, we incorporate the edge information to aggregate the pixel-wise features onto vertices, which emphasizes on the features around edges for fine segmentation along edges. The finally learned graph representation is projected back to pixel grids for parsing. Experiments demonstrate that our model outperforms state-of-the-art methods on the widely used Helen dataset, and also exhibits the superior performance on the large-scale CelebAMask-HQ and LaPa dataset. The code is available at https://github.com/tegusi/EAGRNet.

研究の動機と目的

• 既存の顔のパーサー手法が顔の部品間の相互相関を無視するという限界を是正すること。
• 意味的領域上でのグラフ表現を学習することで、顔画像内の長距離文脈的依存関係をモデル化すること。
• 頂点への特徴集約時にエッジピクセルに重点を置くことで、エッジに正確なセグメンテーションを向上させること。
• グラフに基づく抽象化によって計算の冗長性を低減しながら、高い性能を維持すること。

提案手法

• 類似した特徴を持つピクセルのクラスタを、学習された射影行列を用いてグラフの頂点にマッピングする。
• ピクセルから頂点への特徴集約時にエッジアテンションを適用し、境界ピクセルに高い重みを割り当てることで境界表現を向上させる。
• グラフ畳み込みネットワークを用いて頂点間を横断して情報伝達を行い、顔の領域間の長距離関係を推論する。
• 最終的なグラフ表現をピクセルグリッドに再射影し、密度のあるセグメンテーション予測を実現する。
• ResNetバックボーンがマルチスケール特徴を抽出し、その特徴をもとにグラフ表現を構築する。
• セマンティックセグメンテーションのため、クロスエントロピー損失とDice損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 顔画像内の領域間の関係をモデル化することで、顔のパーサー性能を向上させることができるか？
• RQ2 エッジに配慮した特徴集約は、顔の部品の境界に沿ったセグメンテーション精度にどのように影響するか？
• RQ3 過度な計算コストを伴わずに、グラフベースの推論が顔のパーサーにおいて長距離依存関係を効果的に捉えられるか？
• RQ4 提案されたグラフ表現は、細分化された詳細を保持しつつ、冗長性を低減できるか？

主な発見

• Helenデータセットでは、EAGRNetが全体のF1スコア93.2%を達成し、以前の最先端手法を上回った。
• CelebAMask-HQでは、モデルが全カテゴリで平均F1スコア85.1%を達成し、先行手法を上回った。
• LaPaデータセットでは、平均F1スコア91.1%を達成し、大規模かつ高解像度のデータに対して優れた一般化性能を示した。
• 非局所モジュールと比較して、FLOPsを4倍以上削減し、Nvidia P40で1枚あたり89msのインフェレンス時間となった。
• 可視化により、グラフ射影が意味的に整合性のある領域を単一の頂点にマッピングしていることが確認され、クラスタリング機構の妥当性が裏付けられた。
• エッジアテンション機構により境界ピクセルが効果的に強調され、顔の部品の境界に沿ったセグメンテーションが明確になった。