[논문 리뷰] Cross-modal Deep Face Normals with Deactivable Skip Connections

Victoria Fernández Abrevaya, Adnane Boukhayma외 2명|arXiv (Cornell University)|2020. 03. 21.

Face recognition and analysis참고 문헌 68인용 수 8

한 줄 요약

이 논문은 탈중성 스위치 연결과 공유 잠재 공간을 사용하여 자연계 RGB 이미지에서 고품질의 얼굴 표면 법선을 추정하는 다중모달 딥러닝 프레임워크를 제안한다. 짝지어진 데이터와 비짝지어진 이미지-법선 데이터를 함께 학습함으로써, 이 방법은 최신 기술 수준의 성능을 달성하여 플로렌스 데이터셋에서 각도 오차를 약 10% 감소시키고, 더 선명하고 현실적인 3D 얼굴 재구성을 생성한다.

ABSTRACT

We present an approach for estimating surface normals from in-the-wild color images of faces. While data-driven strategies have been proposed for single face images, limited available ground truth data makes this problem difficult. To alleviate this issue, we propose a method that can leverage all available image and normal data, whether paired or not, thanks to a novel cross-modal learning architecture. In particular, we enable additional training with single modality data, either color or normal, by using two encoder-decoder networks with a shared latent space. The proposed architecture also enables face details to be transferred between the image and normal domains, given paired data, through skip connections between the image encoder and normal decoder. Core to our approach is a novel module that we call deactivable skip connections, which allows integrating both the auto-encoded and image-to-normal branches within the same architecture that can be trained end-to-end. This allows learning of a rich latent space that can accurately capture the normal information. We compare against state-of-the-art methods and show that our approach can achieve significant improvements, both quantitative and qualitative, with natural face images.

연구 동기 및 목표

• 제한된 짝지어진 학습 데이터로 인해 어려움을 겪는 단일 자연계 RGB 이미지에서 정확한 얼굴 표면 법선을 추정하는 문제를 해결하기 위해.
• 짝지어진 데이터와 비짝지어진 이미지 및 법선 데이터를 활용하여 3D 얼굴 재구성의 일반화 능력과 세부 사항 복원 능력을 향상시키기 위해.
• 이미지 도메인과 법선 도메인 간의 효과적인 특징 전달을 가능하게 하면서도 다중모달 제약 조건을 통해 강건성을 유지하는 통합 아키텍처를 설계하기 위해.
• 다중지점 네트워크에서 표준 스위치 연결의 한계를 극복하기 위해, 학습 모odal에 따라 연결성을 제어할 수 있는 새로운 탈중성 메커니즘을 도입하기 위해.

제안 방법

• 이 방법은 공유 잠재 공간을 갖춘 이중지점 인코더-디코더 아키텍처를 사용하며, 한 지점은 이미지를 처리한다(이미지 인코더 $E_I$와 법선 디코더 $D_N$), 다른 지점은 법선을 처리한다(법선 인코더 $E_N$와 이미지 디코더 $D_I$), 이로써 짝지어진 데이터와 비짝지어진 데이터를 함께 학습할 수 있다.
• 이미지 인코더 $E_I$와 법선 디코더 $D_N$ 사이에 탈중성 스위치 연결을 도입하여, 입력 모달에 따라 동적으로 켜지거나 끄도록 하여, 이미지-법선 변환 과정에서 법선 인코더의 간섭을 방지한다.
• 자동인코딩(이미지-이미지 및 법선-법선) 손실과 사이클 일致성 손실을 조합하여 엔드 투 엔드로 학습하며, 공유 잠재 공간을 정렬한다.
• 활성 스위치 연결을 통해 이미지 도메인에서 법선 도메인으로 세밀한 얼굴 세부 정보를 전달할 수 있으며, 자동인코딩 지점은 법선-법선 및 이미지-이미지 재구성으로 강력한 기하학적 사전 지식을 제공한다.
• 이미지 전용 데이터로 학습할 경우 스위치 연결이 비활성화되어 법선 인코더에서 유도되는 오염된 기울기(스파urious gradients)를 방지하지만, 짝지어진 데이터 학습 시에는 세부 정보 유지에 기여하도록 활성화된다.
• L1 손실(법선에 대해), 이미지에 대한 지각 손실, 사이클 일치성 손실을 조합한 다중작업 손실을 사용하여 최적화함으로써 강건하고 일반화 능력이 뛰어난 특징 학습이 가능하다.

실험 결과

연구 질문

• RQ1 통합 딥러닝 아키텍처가 제약 없는 환경에서 짝지어진 데이터와 비짝지어진 이미지-법선 데이터를 효과적으로 활용하여 얼굴 표면 법선 추정 성능을 향상시킬 수 있는가?
• RQ2 다중모달 자동인코딩 환경에서, 서로 다른 지점 간의 간섭을 방지하면서도 이미지에서 법선으로의 세부 정보 전달을 가능하게 하기 위해 스위치 연결을 어떻게 설계할 수 있는가?
• RQ3 이중 자동인코딩 지점과 함께 공유 잠재 공간을 도입할 경우, 표준 인코더-디코더 모델 대비 법선 예측의 강건성과 정확도는 어느 정도 향상되는가?
• RQ4 제안된 탈중성 스위치 연결 메커니즘이 고정 또는 표준 스위치 연결 대비 각도 오차와 시각적 품질 향상에 측정 가능한 기여를 하는가?

주요 결과

• 제안된 방법은 플로렌스 데이터셋에서 평균 각도 오차 11.3° ± 1.5를 기록하여 이전 최신 기술 수준 방법 대비 약 10%의 상대적 향상률을 달성한다.
• Photoface 데이터셋에서는 평균 각도 오차 22.8° ± 6.5를 기록하며, 지정된 진실값과 30° 이내에 포함되는 법선 비율이 74.1%로, 아블레이션 변형보다 뛰어난 성능을 보였다.
• 아블레이션 연구 결과, 법선 인코더 $E_N$ 또는 이미지 디코더 $D_I$를 제거할 경우 성능 저하가 심각하게 발생함을 확인하였으며, 특히 자연계 이미지에서 두드러져 다중모달 자동인코딩의 중요성을 입증한다.
• 정성적 결과에서는 전체 모델이 눈꺼풀 윤곽선과 조명 패턴 같은 세밀한 얼굴 세부 정보를 다른 모델보다 더 잘 유지하는 것으로 나타났으며, 특히 어려운 조명 조건과 질감 조건에서 뚜렷한 우수성을 보였다.
• 탈중성 스위치 연결은 필수적이다: 이들을 제거한 모델은 세부 정보 유지 능력을 상실하고, 다중모달 지점이 없는 모델는 도메인 이동으로 인해 실제 이미지에 일반화되지 못함을 확인하였다.
• 실패 사례 분석 결과, 극단적인 조명, 가림, 저품질 이미지, 비정상적인 질감 처리에 대한 한계를 드러내었으며, 이는 실제 데이터에서 흔한 이방성 요소들이다.