[논문 리뷰] TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network

Yuanzhi Wang, Tao Lü외 5명|arXiv (Cornell University)|2021. 09. 16.

Advanced Image Processing Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 전반적인 얼굴 초해상화를 위한 새로운 트랜스포머-CNN 집합 네트워크인 TANet을 제안한다. 이는 장거리 전반적인 얼굴 구조 모델링을 위해 자기주의 메커니즘을 공동으로 활용하고, 세밀한 국소적 디테일 복원을 위해 CNN을 사용한다. 두 개의 병렬 경로에서 유래한 특징을 융합함으로써 TANet는 얼굴 재구성 품질과 후속 얼굴 인식 정확도에서 최신 기술 수준(SOTA) 성능을 달성하였으며, SCFace 데이터셋에서 8× 초해상화 조건에서 16.92%의 매칭 정확도를 기록하였다.

ABSTRACT

Recently, face super-resolution (FSR) methods either feed whole face image into convolutional neural networks (CNNs) or utilize extra facial priors (e.g., facial parsing maps, facial landmarks) to focus on facial structure, thereby maintaining the consistency of the facial structure while restoring facial details. However, the limited receptive fields of CNNs and inaccurate facial priors will reduce the naturalness and fidelity of the reconstructed face. In this paper, we propose a novel paradigm based on the self-attention mechanism (i.e., the core of Transformer) to fully explore the representation capacity of the facial structure feature. Specifically, we design a Transformer-CNN aggregation network (TANet) consisting of two paths, in which one path uses CNNs responsible for restoring fine-grained facial details while the other utilizes a resource-friendly Transformer to capture global information by exploiting the long-distance visual relation modeling. By aggregating the features from the above two paths, the consistency of global facial structure and fidelity of local facial detail restoration are strengthened simultaneously. Experimental results of face reconstruction and recognition verify that the proposed method can significantly outperform the state-of-the-art methods.

연구 동기 및 목표

• 기존의 얼굴 초해상화 방법들이 전반적인 구조를 忽시하거나 정확하지 않은 얼굴 사전 지식에 의존하는 한계를 해결하기 위해.
• 자기주의 메커니즘을 활용하여 장거리 의존성을 효과적으로 캡처하는 전반적인 얼굴 초해상화 파라다임을 개발하기 위해.
• 전반적인 얼굴 구조 일관성을 유지하면서도 고해상도의 국소적 얼굴 디테일을 복원하기 위해.
• 특히 실생활 감시 시나리오에서의 얼굴 초해상화 성능, 특히 후속 얼굴 인식 작업에서의 성능 향상을 위해.

제안 방법

• TANet는 이중 경로 아키텍처를 사용한다: 한 경로는 순수한 CNN 기반의 자기 캘리브레이션 다중 경로 융합 네트워크(SMFN)를 사용하여 국소적 얼굴 디테일을 복원한다.
• 다른 경로는 자원 친화적이고 경량화된 트랜스포머를 사용하여 장거리 시각적 의존성을 모델링하고 자기주의를 통해 전반적인 얼굴 구조를 포착한다.
• 양 경로의 특징 맵은 학습 가능한 융합 모듈을 통해 전역적 맥락과 국소적 텍스처 표현을 융합한다.
• 트랜스포머의 임bedding 차원은 CNN 특징 차원과 일치시켜 계산 비용을 최소화하면서도 성능를 유지한다.
• 모델은 인지 손실과 적대적 손실을 사용하여 엔드 투 엔드로 훈련되어 현실감과 구조적 정밀도를 향상시킨다.
• 프레임워크는 8× 초해상화 조건에서 SCFace 데이터셋에서 평가되었으며, 아블레이션 스터디와 최신 기술 수준의 방법들과의 비교가 수행되었다.

실험 결과

연구 질문

• RQ1 자기주의 기반의 전역 모델링 메커니즘이 전통적인 CNN보다 장거리 얼굴 구조 의존성을 더 잘 포착할 수 있는가?
• RQ2 경량 트랜스포머 경로가 계산 비용을 크게 증가시키지 않으면서도 효과적으로 전역적 얼굴 맥락을 모델링할 수 있는가?
• RQ3 전역 트랜스포머 특징와 국소 CNN 특징의 융합이 얼굴 재구성 품질과 후속 인식 성능 향상에 기여하는가?
• RQ4 저품질, 저해상도 입력 조건에서 제안된 TANet는 이전 방법들에 비해 얼굴 인식 정확도에서 어떻게 성능을 내는가?

주요 결과

• TANet는 8× 초해상화 조건에서 SCFace 데이터셋에서 모든 베이스라인 방법들을 능가하는 16.92%의 매칭 정확도를 기록하였다.
• TANet의 평균 유사도 점수 0.292729는 비교된 모든 방법들 중에서 가장 높아, 인식을 위한 특징 품질 향상을 시사한다.
• 그림 5의 시각적 결과는 TANet가 다른 방법들보다 더 현실적이고 세밀한 얼굴 텍스처를 생성함을 보여준다.
• 아블레이션 스터디는 별도의 전역 및 국소 특징 학습을 수행하는 이중 경로 설계가 단일 경로 또는 사전 기반 방법들보다 성능 향상에 크게 기여함을 확인한다.
• 이 방법은 저품질 환경에서도 강건성을 보이며, 트랜스포머 기반 접근법들 중에서 가장 높은 얼굴 인식 성능을 기록한다.
• 다만, 16.92%의 매칭 정확도는 실생활 배포에 있어 여전히 최적화되지 않은 수준이므로, 향후 개선 여지가 있음을 시사한다.