[논문 리뷰] Informed MCMC with Bayesian Neural Networks for Facial Image Analysis

Adam Kortylewski, Mario Wieser외 5명|arXiv (Cornell University)|2018. 11. 19.

Face recognition and analysis참고 문헌 6인용 수 6

한 줄 요약

이 논문은 얼굴 영상 분석에서 Informed MCMC에 대한 이미지 기반 제안 분포를 학습하기 위해 베이지안 신경망(BNNs)을 사용함으로써 고후행부 영역으로의 수렴 속도를 크게 향상시킨다. BNN가 추정한 불확실성을 MCMC 샘플러에 통합함으로써, 이 방법은 더 높은 정확도의 3D 얼굴 재구성 품질을 달성하여, 표준 무정보적 MCMC보다 최대 후행부 값에 도달하는 데 3,500개의 샘플을 더 일찍 도달한다.

ABSTRACT

Computer vision tasks are difficult because of the large variability in the data that is induced by changes in light, background, partial occlusion as well as the varying pose, texture, and shape of objects. Generative approaches to computer vision allow us to overcome this difficulty by explicitly modeling the physical image formation process. Using generative object models, the analysis of an observed image is performed via Bayesian inference of the posterior distribution. This conceptually simple approach tends to fail in practice because of several difficulties stemming from sampling the posterior distribution: high-dimensionality and multi-modality of the posterior distribution as well as expensive simulation of the rendering process. The main difficulty of sampling approaches in a computer vision context is choosing the proposal distribution accurately so that maxima of the posterior are explored early and the algorithm quickly converges to a valid image interpretation. In this work, we propose to use a Bayesian Neural Network for estimating an image dependent proposal distribution. Compared to a standard Gaussian random walk proposal, this accelerates the sampler in finding regions of the posterior with high value. In this way, we can significantly reduce the number of samples needed to perform facial image analysis.

연구 동기 및 목표

• 고차원적이고 다중 모달인 후행부로 인해 MCMC 샘플링의 수렴 속도가 느려지는 문제를 해결하기 위해.
• 고정되거나 수작업으로 설계된 제안 분포의 한계를 극복하기 위해 데이터 기반 제안 분포를 학습하기 위해.
• 베이지안 신경망에서 유도된 불확실성 인식 제안 분포를 통합함으로써 3D 얼굴 재구성의 효율성과 정확도를 향상시키기 위해.
• 고정된 수의 샘플 내에서 BNN 기반 정보 제공 MCMC가 표준 무정보적 MCMC보다 고후행부 영역 탐색에서 뛰어난 성능을 보이는지 입증하기 위해.

제안 방법

• 3D 모러포블 모델(3DMM)을 3D 얼굴 기하학, 색상 및 렌더링 파라미터를 모델링하기 위한 생성 전처리로 사용한다.
• 300만 개의 합성 얼굴 영상와 해당 3DMM 파라미터를 기반으로 BNN을 훈련시켜 모델 파라미터의 공동 후행부 분포를 추정한다.
• BNN은 지식 기반(모델) 불확실성과 이종분산형 애나토릭(데이터) 불확실성을 모두 출력하며, 이를 조합하여 이미지 기반 제안 분포 $ Q_I(\cdot|x) $ 를 정의한다.
• 이 BNN 유도 제안 분포는 국소적 가우시안 랜덤 워크와 가중치 혼합을 통해 통합된 정보 제공 MCMC 샘플러에 통합된다.
• MCMC 샘플러는 BNN 기반 제안 분포를 사용하여 메트로폴리스-하스팅스 알고리즘을 적용하여 후행부 $ p(y|x) $ 를 탐색한다. 여기서 $ y $ 는 3DMM 파라미터를 나타낸다.
• 제안 분포는 이전 연구에서 사용된 수작업 설계된 특징 및 커널 밀도 추정을 대체하기 위해 데이터로부터 종단 간(end-to-end)으로 학습된다.

실험 결과

연구 질문

• RQ1 베이지안 신경망은 얼굴 영상 분석에서 MCMC 샘플링을 위한 이미지 기반 제안 분포를 효과적으로 추정할 수 있는가?
• RQ2 BNN 기반 정보 제공 MCMC는 고후행부 영역으로의 수렴 속도에서 표준 무정보적 MCMC와 비교해 어떻게 다를까?
• RQ3 BNN가 추정한 불확실성은 특히 다의적 재구성 상황에서 3D 얼굴 형태와 자세의 의미 있는 변동을 반영하는가?
• RQ4 고정된 수의 샘플 내에서 BNN 기반 정보 제공 MCMC는 무정보적 샘플러보다 더 나은 3D 얼굴 재구성 품질을 달성할 수 있는가?

주요 결과

• BNN 기반 정보 제공 MCMC 샘플러는 무정보적 방법이 도달하는 최대 비정규화된 후행부 값에 도달하는 데 단 3,500개의 샘플만을 소모하는 반면, 무정보적 방법은 10,000개의 샘플이 필요했다.
• 그림 2b의 후행부 궤적 곡선을 통해 BNN 기반 샘플러가 고후행부 영역을 훨씬 더 신속하게 탐색하는 것으로 확인되었다.
• 정성적 불확실성 시각화 결과는 머리 자세에서는 낮은 불확실성, 3D 형태에서는 높은 불확실성을 보였으며, 이는 단안 3D 얼굴 재구성의 다의적 성격과 일치한다.
• 150개의 테스트 이미지에 대한 순위 기반 프리드먼 검정에서 $ 5.7 \times 10^{-5} $ 의 p-값을 기록하여, 무정보적 기반선 대비 재구성 품질 향상의 매우 유의미한 결과를 입증했다.
• BNN의 평균 예측은 머리 자세와 3D 형태에서 정답과 매우 유사했으며, 불확실성 샘플은 특히 코 부근에서 현실적인 얼굴 기하학의 변동성을 반영했다.
• 이 방법은 BNN이 복잡하고 다중 모달인 후행부 분포를 모델링하는 데 효과적일 수 있음을 보여주며, 모델 불확실성과 데이터 불확실성을 모두 인코딩할 수 있음을 입증했다.