[논문 리뷰] Deep Cascaded Bi-Network for Face Hallucination

Shizhan Zhu, Sifei Liu외 2명|arXiv (Cornell University)|2016. 07. 18.

Advanced Image Processing Techniques참고 문헌 55인용 수 46

한 줄 요약

이 논문은 5px 이면 거리(5px inter-ocular distance)에 이르는 초저해상도 얼굴(최소 5px IOD)을 대상으로, 밀도 있는 대응 필드와 초해상도를 번갈아가며 정밀하게 개선하는 딥 캐스케이드드 바이넷(CBN)을 제안한다. 공간 사전 지식에 의해 유도되는 게이트형 딥 바이넷을 사용함으로써, 공통 브랜치와 고주파 브랜치를 별도로 처리함으로써, 상태의 성능을 달성하며, 빠른 추론(1장당 3.84초)을 실현한다. 이는 자율 주행 환경에서의 저해상도 얼굴에 대해 기존 방법들보다 훨씬 뛰어난 품질과 속도를 제공한다.

ABSTRACT

We present a novel framework for hallucinating faces of unconstrained poses and with very low resolution (face size as small as 5pxIOD). In contrast to existing studies that mostly ignore or assume pre-aligned face spatial configuration (e.g. facial landmarks localization or dense correspondence field), we alternatingly optimize two complementary tasks, namely face hallucination and dense correspondence field estimation, in a unified framework. In addition, we propose a new gated deep bi-network that contains two functionality-specialized branches to recover different levels of texture details. Extensive experiments demonstrate that such formulation allows exceptional hallucination quality on in-the-wild low-res faces with significant pose and illumination variations.

연구 동기 및 목표

• 자연스러운 자세와 조명 변화가 있는 초저해상도 입력(최소 5px 이면 거리)에서 얼굴을 환영하는 과제를 해결한다.
• 정확한 공간 사전 지식(예: 밀도 있는 대응 필드)이 고품질 재구성에 필요하지만, 저해상도 입력에서 이를 추정하기 어려운 '닭과 계란' 문제를 해결한다.
• 얼굴 환영과 밀도 있는 대응 필드 추정을 통합된, 번갈아가며 정렬하는 프레임워크로 통합하여 상호 보완적으로 향상시킨다.
• 공간 사전 지식을 활용하여 공통 텍스처 세부 정보와 고주파 얼굴 구조를 별도로 처리하는 게이트형 딥 바이넷 아키텍처를 개발하여, 더 정확하고 현실적인 환영을 가능하게 한다.
• 예시 기반 또는 비모수적 구성 요소 없이, 끝에서 끝까지의 빠른 추론을 실현하여, 저해상도 감시 또는 모바일 데이터에서 실시간 적용이 가능하도록 한다.

제안 방법

• 얼굴 환영과 밀도 있는 대응 필드 추정이 상호 보완적으로 반복적으로 정렬되는 캐스케이드형, 번갈아가며 정렬하는 프레임워크를 제안한다.
• 공통 브랜치(저해상도 입력에서 안정적인 텍스처 복원)와 고주파 브랜치(왜곡된 밀도 있는 대응 필드를 활용해 관측되지 않은 얼굴 세부 정보를 합성)로 구성된 게이트형 딥 바이넷을 도입한다.
• 픽셀 단위의 게이트 네트워크를 엔드 투 엔드로 학습하여 두 브랜치의 출력을 융합하며, 공통 브랜치의 신뢰할 수 있는 특징을 우선시하고, 적절한 곳에 고주파 세부 정보를 통합한다.
• 예시 검색이나 비모수적 연산을 피하는 파rametric하고 판별 기반의 모델 구조를 사용하여, 빠른 추론(1장당 3.84초)을 가능하게 한다.
• 캐스케이드 단계를 거쳐서 밀도 있는 대응 필드를 점진적으로 정밀하게 개선하며, 저해상도 입력에서 시작하여 해상도가 증가함에 따라 업데이트함으로써 반복 과정에서 공간 정확도를 향상시킨다.
• 시각적 현실성과 구조적 충실도를 향상시키기 위해 전반적인 프레임워크를 인지 손실과 적대적 손실로 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 밀도 있는 대응 필드와 얼굴 환영을 번갈아가며 정렬하는 통합 프레임워크가 초저해상도의 자연계 얼굴에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 특화된 브랜치를 갖춘 게이트형 바이넷 아키텍처가 극한의 해상도 제약 하에서 공통 및 고주파 얼굴 세부 정보를 얼마나 효과적으로 복원하는가?
• RQ3 밀도 있는 대응 필드를 점진적으로 정밀하게 개선하는 것이 단일 단계 또는 고정 사전 지식 기반 접근 방식에 비해 얼굴 환영 품질을 얼마나 향상시키는가?
• RQ4 얼굴 환영이 의미 있게 가능해지기 위한 입력 얼굴 해상도의 하한선(이면 거리 기준)은 어느 정도인가?
• RQ5 순수하게 판별 기반이며 예시 기반 요소가 없는 딥 러닝 프레임워크가 얼굴 환영에서 높은 품질과 빠른 추론을 동시에 달성하여 기존 방법들을 능가할 수 있는가?

주요 결과

• 제안된 CBN 프레임워크는 얼굴 환영 분야에서 최신 기술 성능을 달성하며, 특히 초저해상도 입력(5pxIOD)에서 기존 방법들보다 PSNR와 시각적 품질 면에서 뚜렷이 뛰어나다.
• 제거 실험 결과, 게이트형 바이넷, 점진적 대응 필드 정밀화, 캐스케이드형 번갈아 정렬 최적화의 모든 구성 요소가 필수적임을 확인하였으며, 어느 하나라도 제거되면 성능이 크게 떨어진다.
• 1장당 3.84초의 매우 빠른 추론 시간을 달성하여, 기존 방법들(예: [6]의 15~20분, [8]의 1분)보다 훨씬 빠르다.
• 5pxIOD 이하의 입력 해상도(예: 3pxIOD)는 정보 부족과 정확도가 떨어지는 대응 필드 추정으로 인해 비현실적인 결과를 낳으며, 이는 5pxIOD가 실용적인 하한선임을 시사한다.
• 고주파 브랜치는 가림된 얼굴 부분(예: 선글라스로 가려진 눈)의 합성을 가능하게 하지만, 게이트 네트워크가 때로는 이 브랜치에 과도하게 의존하여 실패 케이스에서 과다 합성 또는 가짜 이미지(ghosting) 현상이 발생할 수 있다.
• 시각적 결과에서, 5pxIOD에서도 얼굴 정체성과 구조를 유지하며 현실적인 텍스처 세부 정보와 타당한 시선 방향을 보여주며, 양선형 보간법과 기준 모델들보다 뛰어난 성능을 보였다.