[논문 리뷰] Face Hallucination via Split-Attention in Split-Attention Network

Tao Lu, Yuanzhi Wang외 5명|arXiv (Cornell University)|2020. 10. 22.

Facial Nerve Paralysis Treatment and Research인용 수 5

한 줄 요약

이 논문은 얼굴 화상 증강을 위해 외부-내부 분할 주의 그룹(ESAG)을 사용하여 얼굴 구조 및 질감 특징을 별도로 처리하고 융합함으로써 얼굴 구조 일관성과 질감 세부 사항의 정확성 향상을 달성하는 분할 주의 네트워크(SISN)를 제안한다. 이 방법은 얼굴 화상 증강 분야에서 최고 성능을 기록하며, 후행 얼굴 인식 정확도를 크게 향상시킨다.

ABSTRACT

Recently, convolutional neural networks (CNNs) have been widely employed to promote the face hallucination due to the ability to predict high-frequency details from a large number of samples. However, most of them fail to take into account the overall facial profile and fine texture details simultaneously, resulting in reduced naturalness and fidelity of the reconstructed face, and further impairing the performance of downstream tasks (e.g., face detection, facial recognition). To tackle this issue, we propose a novel external-internal split attention group (ESAG), which encompasses two paths responsible for facial structure information and facial texture details, respectively. By fusing the features from these two paths, the consistency of facial structure and the fidelity of facial details are strengthened at the same time. Then, we propose a split-attention in split-attention network (SISN) to reconstruct photorealistic high-resolution facial images by cascading several ESAGs. Experimental results on face hallucination and face recognition unveil that the proposed method not only significantly improves the clarity of hallucinated faces, but also encourages the subsequent face recognition performance substantially. Codes have been released at https://github.com/mdswyz/SISN-Face-Hallucination.

연구 동기 및 목표

• 기존의 CNN 기반 얼굴 화상 증강 방법이 얼굴 구조 일관성과 질감 세부 사항의 정확성을 동시에 유지하지 못하는 한계를 해결한다.
• 추가 사전 정보(예: 랜드마크, 파싱 맵 등)에 의존하는 형태 중심 방법의 단점을 극복한다. 이러한 방법은 모델 복잡성을 증가시키고 오류를 유발할 위험이 있다.
• 엔드 투 엔드로, 파rameter 효율적인 아키텍처를 개발하여 내부 특징 상관관계 및 외부 다중 경로 특징 융합을 향상시켜 고품질의 얼굴 초해상도를 달성한다.
• 저해상도 입력에서부터 사진처럼 생생한 고해상도 얼굴 영상을 생성함으로써 후행 얼굴 인식 성능을 향상시킨다.

제안 방법

• 특징 맵의 채널 차원을 분할하고 분류함으로써 내부 상관관계를 강화하고 정보가 풍부한 영역에 집중하는 내부 특징 분할 주의(ISA) 메커니즘을 제안한다.
• 깊은 의미적 특징 학습을 통해 얼굴 질감 세부 사항 복원을 강조하기 위해 ISA를 사용하는 내부 특징 분할 주의 블록(ISAB)을 설계한다.
• 두 개의 병렬 경로를 융합하는 외부-내부 분할 주의 그룹(ESAG)을 도입한다. 하나는 질감 세부 사항을 위한 연결된 ISAB들이며, 다른 하나는 얼굴 구조 모델링을 위한 ISA를 사용한다.
• 외부 특징 주의로 다중 경로 특징 융합을 구현하여 구조 및 질감 표현 간의 상관관계를 강화한다.
• 다중 ESAG를 스택하여 점진적으로 고해상도 얼굴 영상을 정밀하게 개선하는 분할 주의 분할 주의 네트워크(SISN)를 구축한다.
• 시각적 품질과 적대적 손실을 사용하여 엔드 투 엔드 SISN 모델을 훈련시켜 더 높은 구조적 및 질감 정확성을 확보한 사진처럼 생생한 출력을 생성한다.

Figure 1. Network architecture of SISN, which consists of four parts: coarse feature extraction layer, split-attention in split-attention deep feature extraction, upscale module, and reconstruction module.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 얼굴 화상 증강에서 얼굴 구조 일관성과 고주파 질감 세부 사항 복원을 효과적으로 균형 있게 조절할 수 있는가?
• RQ2 제안된 분할 주의 메커니즘이 전통적인 주의 또는 잔차 네트워크보다 전반적인 얼굴 레이아웃과 세밀한 질감을 모두 잘 유지하는가?
• RQ3 외부 사전 정보(예: 랜드마크, 파싱 맵 등)가 없더라도 모델 복잡성이 증가하지 않으면서도 고품질의 화상 증강 얼굴을 생성할 수 있는가?
• RQ4 기존의 얼굴 화상 증강 기법에 비해 제안된 방법이 후행 얼굴 인식 성능을 얼마나 향상시키는가?

주요 결과

• SCface 데이터셋에서 제안된 SISN 방법은 비교된 모든 방법 중 평균 얼굴 유사도가 0.540106으로 가장 높게 기록되었으며, 기준 모델 및 최신 기술 대비 얼굴 인식 작업에서 뚜렷한 승리를 거두었다.
• SISN은 정규화된 유사도 점수를 기준 저해상도(LR)의 0.490079에서 SISN 재구성 결과인 0.540106으로 상향시켜 더 강한 특징 일관성을 보여주었다.
• LFW 데이터셋에서 SISN은 PSNR 0.475734와 SSIM 0.599383을 기록하여 RCAN, SRFBN, MTC를 모두 능가하며 뛰어난 영상 재구성 품질을 입증했다.
• SISN은 정량적 지표와 정성적 시각 비교를 통해 선명하고 천연스러운 고해상도 얼굴 영상을 사진처럼 생생하게 재구성하는 데 성공했다.
• 저해상도이거나 품질이 열 劣한 도전적인 감시 영상에서도 높은 성능을 유지하여 실제 응용에서의 강건성을 확인했다.
• 제거 실험을 통해 분할 주의 메커니즘이 내부 특징 상관관계 및 경로 간 융합을 효과적으로 향상시켜 재구성 정확도 향상에 기여한다는 것이 입증되었다.

Figure 2. Comparison with different combination of ESAGs and ISABs for 4 $\times$ SR on FFHQ testing dataset. The best result is available when ESAGs is 10 and ISABs is 10.