[논문 리뷰] Approximate Bayesian Image Interpretation using Generative Probabilistic Graphics Programs

Vikash K. Mansinghka, Tejas D. Kulkarni외 2명|arXiv (Cornell University)|2013. 06. 29.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 55

한 줄 요약

이 논문은 컴퓨터 그래픽스 렲영, 확률적 우도 모델, 잠재 변수를 결합하여 정밀도와 내성에 기여하는 짧은 확률적 코드를 사용해 이미지 해석을 위한 근사적인 생성 모델을 정의하는 Generative Probabilistic Graphics Programs (GPGP) 프레임워크를 소개한다. 일반적인 자동 추론을 유일하게 사용하여 실제 이미지에서 정확한 근사 베이지안 추론을 가능하게 하여, 20줄 미만의 코드로 문자 인식 및 3D 도로 모델링에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The idea of computer vision as the Bayesian inverse problem to computer graphics has a long history and an appealing elegance, but it has proved difficult to directly implement. Instead, most vision tasks are approached via complex bottom-up processing pipelines. Here we show that it is possible to write short, simple probabilistic graphics programs that define flexible generative models and to automatically invert them to interpret real-world images. Generative probabilistic graphics programs consist of a stochastic scene generator, a renderer based on graphics software, a stochastic likelihood model linking the renderer's output and the data, and latent variables that adjust the fidelity of the renderer and the tolerance of the likelihood model. Representations and algorithms from computer graphics, originally designed to produce high-quality images, are instead used as the deterministic backbone for highly approximate and stochastic generative models. This formulation combines probabilistic programming, computer graphics, and approximate Bayesian computation, and depends only on general-purpose, automatic inference techniques. We describe two applications: reading sequences of degraded and adversarially obscured alphanumeric characters, and inferring 3D road models from vehicle-mounted camera images. Each of the probabilistic graphics programs we present relies on under 20 lines of probabilistic code, and supports accurate, approximately Bayesian inferences about ambiguous real-world images.

연구 동기 및 목표

• 복잡하고 수작업으로 설계된 하향식 시각 파이프라인의 한계를 해결하기 위해, 광범위한 훈련이 필요하고 수정하기 어려운 시스템을 개선하고자 한다.
• 시각 문제를 그래픽스의 역 문제로 간주함으로써, 영향력 있고 해석 가능한 이미지 해석을 가능하게 하고자 한다.
• 짧고 고수준의 확률적 그래픽스 프로그램이 실제 이미지에서 정확하고 불확실성 인식 추론을 지원할 수 있음을 보여주고자 한다.
• 이러한 모델에서 자동 추론이 맞춤형 추론 알고리즘 없이도 기존의 수작업으로 설계된 기준보다 뛰어난 성능을 낼 수 있음을 보여주고자 한다.

제안 방법

• 프레임워크는 객체의 위치와 크기와 같은 무작위 장면 구성 방식을 정의하기 위해 확률적 장면 생성기를 사용한다.
• 기존의 그래픽스 소프트웨어를 기반으로 한 근사 렌더러가 표준 렌더링 파이프라인을 사용하여 장면 파rameter에서 이미지를 생성한다.
• 확률적 우도 모델은 렌더링된 이미지와 관측된 데이터를 비교하며, 잠재 변수를 통해 노이즈와 내성성을 포함한다.
• 잠재 변수는 렌더러의 정밀도와 우도의 내성도를 제어하여 근사 베이지안 계산을 가능하게 한다.
• 확률적 프로그래밍 시스템을 사용해 자동 메트로폴리스-해스팅스 전이를 통해 추론을 수행함으로써 맞춤형 추론 설계를 피한다.
• 기존의 그래픽스 라이브러리와 확률적 프로그래밍을 활용하여 생성 모델링, 렌더링, 근사 베이지안 추론을 통합한다.

실험 결과

연구 질문

• RQ1 짧고 고수준의 확률적 그래픽스 프로그램을 사용해 맞춤형 추론 알고리즘 없이 정확한 이미지 해석을 수행할 수 있는가?
• RQ2 생성 그래픽스 프로그램에 대한 근사 베이지안 추론이 실제 이미지 해석에서 일관된 불확실성 추정을 제공할 수 있는가?
• RQ3 이 프레임워크의 성능는 실제 작업에서 기존의 수작업으로 설계된 시각 파이프라인과 비교해 어떻게 되는가?
• RQ4 렌더링과 우도 모델에서의 확률적 성격과 근사성은 얼마나 높은 신뢰성 있는 추론을 지원할 수 있는가?

주요 결과

• GPGP 프레임워크는 여러 외관에 대한 최대우도 추정을 통해 KITTI 도로 검출 벤치마크에서 74.60%의 정확도를 달성했으며, Aly 등 [1]의 기준 방법(68.31%)을 초월했다.
• 손상되거나 악성으로 은폐된 텍스트에서의 문자 인식 작업에서는 20줄 미만의 확률적 코드로 높은 정확도를 달성하여 이미지 손상에 대한 강건성을 입증했다.
• 시각화된 결과(그림 6)에 따르면, 후행 불확실성 추정이 일관되게 나타나, 관련된 신뢰도와 함께 타당한 장면 해석을 제공했다.
• 복잡도 증가에 따라 추론 성능이 잘 유지되었으며, 최소 30개의 미지 문자가 포함된 모델에 대해서도 수렴 시간이 평탄하게 유지되는 것으로 예비 결과에서 관측되어, 단순한 기대를 뛰어넘는 타당성을 보였다.