[논문 리뷰] Edge-aware Graph Representation Learning and Reasoning for Face Parsing

Gusi Te, Yinglu Liu외 3명|arXiv (Cornell University)|2020. 07. 22.

Face recognition and analysis참고 문헌 36인용 수 4

한 줄 요약

이 논문은 얼굴 파싱을 위한 엣지 인식 그래프 표현 학습(EAGRNet)을 제안하며, 얼굴 영역을 그래프의 정점으로 모델링하여 그래프 추론을 통해 장거리 의존성을 포착한다. 엣지 인식 특징 집합과 그래프 컨볼루션을 통합함으로써 헬렌, 세레비아마스크-HQ, 라파에서 최신 기술 수준의 성능을 달성하면서도 계산 오버헤드를 최소화한다.

ABSTRACT

Face parsing infers a pixel-wise label to each facial component, which has drawn much attention recently. Previous methods have shown their efficiency in face parsing, which however overlook the correlation among different face regions. The correlation is a critical clue about the facial appearance, pose, expression etc., and should be taken into account for face parsing. To this end, we propose to model and reason the region-wise relations by learning graph representations, and leverage the edge information between regions for optimized abstraction. Specifically, we encode a facial image onto a global graph representation where a collection of pixels ("regions") with similar features are projected to each vertex. Our model learns and reasons over relations between the regions by propagating information across vertices on the graph. Furthermore, we incorporate the edge information to aggregate the pixel-wise features onto vertices, which emphasizes on the features around edges for fine segmentation along edges. The finally learned graph representation is projected back to pixel grids for parsing. Experiments demonstrate that our model outperforms state-of-the-art methods on the widely used Helen dataset, and also exhibits the superior performance on the large-scale CelebAMask-HQ and LaPa dataset. The code is available at https://github.com/tegusi/EAGRNet.

연구 동기 및 목표

• 기존 얼굴 파싱 방법들이 얼굴 구성 요소 간의 상호 영역 상관관계를 忽시하는 한계를 해결하기 위해.
• 의미적 영역 위에 그래프 표현을 학습하여 얼굴 이미지 내 장거리 문맥적 의존성을 모델링하기 위해.
• 정점으로의 특징 집합 과정에서 엣지 픽셀에 초점을 두어 경계 정확도를 향상시키기 위해.
• 그래프 기반 추상화를 통해 계산의 중복을 줄이면서도 높은 성능를 유지하기 위해.

제안 방법

• 유사한 특징을 가진 픽셀 클러스터를 학습된 투영 행렬을 사용하여 그래프 정점으로 매핑한다.
• 픽셀에서 정점으로의 특징 집합 과정에서 엣지 어텐션을 적용하여 경계 픽셀에 더 높은 가중치를 할당함으로써 경계 표현을 향상시킨다.
• 그래프 컨볼루션 네트워크를 통해 정점 간의 정보를 전파하여 얼굴 영역 간의 장거리 관계를 추론한다.
• 최종 그래프 표현은 픽셀 격자로 다시 투영되어 밀도 높은 세그먼테이션 예측을 수행한다.
• ResNet 백본이 다중 해상도 특징을 추출하고, 이를 바탕으로 그래프 표현을 구성한다.
• 모델은 세분화 학습을 위해 교차 엔트로피 손실과 딱지 손실을 함께 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 얼굴 이미지 내 상호 영역 관계를 모델링하면 얼굴 파싱 성능이 향상되는가?
• RQ2 엣지 인식 특징 집합이 얼굴 구성 요소 경계의 세그먼테이션 정확도에 어떤 영향을 미치는가?
• RQ3 과도한 계산 비용 없이 그래프 기반 추론이 얼굴 파싱에서 장거리 의존성을 효과적으로 포착할 수 있는가?
• RQ4 제안된 그래프 표현은 높은 해상도의 세부 정보를 유지하면서도 중복을 줄이는가?

주요 결과

• 헬렌 데이터셋에서 EAGRNet는 전체 F1 스코어 93.2%를 기록하여 이전 최신 기술 수준의 방법들을 능가한다.
• 세레비아마스크-HQ에서 모델은 평균 F1 스코어 85.1%를 달성하여 모든 카테고리에서 이전 접근 방식을 능가한다.
• 라파 데이터셋에서 모델은 평균 F1 스코어 91.1%를 기록하여 대규모 고해상도 데이터에 대한 강력한 일반화 능력을 보여준다.
• 비국소 모듈 대비 FLOPs를 4배 이상 감소시켰으며, Nvidia P40에서 이미지당 추론 시간은 89ms에 불과하다.
• 시각화 결과 그래프 투영이 의미적으로 일관된 영역을 단일 정점으로 매핑함을 확인하여 클러스터링 메커니즘의 타당성을 검증한다.
• 엣지 어텐션 메커니즘이 효과적으로 경계 픽셀에 초점을 두어 얼굴 구성 요소 경계에서 더 선명한 세그먼테이션을 유도한다.