[논문 리뷰] The Informed Sampler: A Discriminative Approach to Bayesian Inference in Computer Vision

Varun Jampani, Sebastian Nowozin외 2명|arXiv (Cornell University)|2014. 02. 04.

Generative Adversarial Networks and Image Synthesis인용 수 1

한 줄 요약

이 논문은 컴퓨터 비전에서 베이지안 추론을 위한 지식 기반 샘플러(Informed Sampler)를 제안한다. 이는 기존 컴퓨터 비전 기법을 생성 모델 프레임워크 내의 제안 분포로 활용하는 결정적 접근법이다. 마르코프 체인 몬테 카를로 샘플러에 결정적 히우리스틱을 통합함으로써, 렌더링 엔진을 포함한 역 그래픽스 작업에서 특히 복잡한 생성 모델의 사후 추론을 크게 향상시킨다.

ABSTRACT

Computer vision is hard because of a large variability in lighting, shape, and texture; in addition the image signal is non-additive due to occlusion. Generative models promised to account for this variability by accurately modelling the image formation process as a function of latent variables with prior beliefs. Bayesian posterior inference could then, in principle, explain the observation. While intuitively appealing, generative models for computer vision have largely failed to deliver on that promise due to the difficulty of posterior inference. As a result the community has favoured efficient discriminative approaches. We still believe in the usefulness of generative models in computer vision, but argue that we need to leverage existing discriminative or even heuristic computer vision methods. We implement this idea in a principled way with an sampler and in careful experiments demonstrate it on challenging generative models which contain renderer programs as their components. We concentrate on the problem of inverting an existing graphics rendering engine, an approach that can be understood as Inverse Graphics. The informed sampler, using simple discriminative proposals based on existing computer vision technology, achieves significant improvements of inference.

연구 동기 및 목표

• 기존의 생성 모델이 사후 추론이 비가역적일 경우 성능이 떨어지는 문제를 해결하기 위해.
• 결정적 효율성과 생성 모델의 설명력 간 격차를 메우기 위해.
• 렌더러 구성 요소를 포함한 복잡한 생성 모델에서 효과적인 베이지안 추론을 가능하게 하기 위해.
• 기존 컴퓨터 비전 기법을 사후 샘플링에서 제안 분포로 사용하는 것의 효과를 입증하기 위해.
• 렌더링 엔진을 포함한 도전적인 역 그래픽스 문제에서 접근 방식을 검증하기 위해.

제안 방법

• Informed Sampler는 마르코프 체인 몬테 카를로(MCMC) 프레임워크 내에서 결정적 컴퓨터 비전 기법을 제안 분포로 사용한다.
• 히우리스틱 또는 학습된 시각 알고리즘을 사전 정보가 반영된 제안 분포로 통합하여 고차원 잠재 공간 내의 샘플링을 안내한다.
• 렌더러 프로그램으로 정의된 가능도를 갖는 확률적 생성 모델 내에서 작동한다.
• 사후 탐색 중 무작위 보행 행동을 줄임으로써 수렴성과 정확도를 향상시킨다.
• 기존 MCMC가 제안 품질이 열 劣하여 실패하는 복잡한 모델에 대해서도 사후 추론을 가능하게 한다.
• 이 방법은 이미지에서 시각적 장면 매개변수를 추론하는 것을 목표로 하는 역 그래픽스 문제에서 평가된다.

실험 결과

연구 질문

• RQ1 결정적 컴퓨터 비전 기법이 생성 모델의 사후 추론을 효과적으로 향상시키는 데 사용될 수 있는가?
• RQ2 히우리스틱 제안 분포를 통합할 경우 컴퓨터 비전에서 베이지안 추론의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 기존의 시각 알고리즘이 복잡한 생성 모델에 대한 MCMC 샘플링에서 효과적인 제안 분포로 기능할 수 있는 정도는 어느 정도인가?
• RQ4 Informed Sampler는 도전적인 역 그래픽스 작업에서 기존의 표준 MCMC 방법보다 우수한 성능을 보일 수 있는가?
• RQ5 제안된 방법은 복잡한 렌더러 구성 요소를 포함한 현실적인 생성 모델에 확장 가능한가?

주요 결과

• Informed Sampler는 복잡한 생성 모델에서 표준 MCMC 방법에 비해 훨씬 향상된 추론 성능을 달성한다.
• 기존 컴퓨터 비전 기술에 기반한 결정적 제안 분포를 사용할 경우 수렴 속도가 빨라지고 사후 추정치의 정확도가 향상된다.
• 렌더링 엔진을 포함한 역 그래픽스 작업에서 추론 품질 향상이 뚜렷하게 나타난다.
• 히우리스틱 시각 방법을 샘플링 과정에 통합함으로써 무작위 보행 행동이 감소하고 잠재 공간 탐색이 향상된다.
• 기존 방법이 제안 품질이 열 劣하여 실패하는 모델에서도 베이지안 추론을 성공적으로 가능하게 한다.
• 실험 결과는 생성 모델을 재학습하지 않고도 결정적 사전 정보를 활용함으로써 사후 추론이 향상됨을 확인한다.