[논문 리뷰] Neurally-Guided Procedural Models: Amortized Inference for Procedural Graphics Programs using Neural Networks

Daniel Ritchie, Anna Thomas외 2명|arXiv (Cornell University)|2016. 03. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 25

한 줄 요약

이 논문은 영상 기반 제약 조건 하에서 정확하고 효율적인 추론을 위한 신경망을 사용해 절차적 그래픽스 프로그램의 절차적 모델을 신경망으로 유도하는 방법을 제안한다. SMC가 생성한 예제 데이터를 기반으로 훈련함으로써, 실시간에서 무작위 선택을 유도하여 기존의 지도되지 않은 모델 대비 최대 10배 빠르게 높은 품질의 결과를 도출한다. 특히 입자 수를 크게 줄일 수 있다.

ABSTRACT

Probabilistic inference algorithms such as Sequential Monte Carlo (SMC) provide powerful tools for constraining procedural models in computer graphics, but they require many samples to produce desirable results. In this paper, we show how to create procedural models which learn how to satisfy constraints. We augment procedural models with neural networks which control how the model makes random choices based on the output it has generated thus far. We call such models neurally-guided procedural models. As a pre-computation, we train these models to maximize the likelihood of example outputs generated via SMC. They are then used as efficient SMC importance samplers, generating high-quality results with very few samples. We evaluate our method on L-system-like models with image-based constraints. Given a desired quality threshold, neurally-guided models can generate satisfactory results up to 10x faster than unguided models.

연구 동기 및 목표

• 영상 기반 제약 조건 하에서 절차적 그래픽스 모델의 확률적 추론에 대한 높은 계산 비용 문제를 해결하기 위해 효율적인 샘플링 전략을 학습하는 것.
• 형태 매칭 또는 스타일러드 디자인과 같은 복잡한 제약 조건 하에서도 상호작용이 가능하고 고품질의 절차적 콘텐츠 생성을 가능하게 하는 것.
• 부분적인 출력 기반으로 절차적 모델을 유도하기 위해 신경망을 훈련하여 추론을 암시적으로 효율화하는 것.
• 생성 과정에서 제약 조건에 기인한 의존성을 직접 학습하여 고비용 샘플링에 대한 의존도를 줄이는 것.

제안 방법

• 현재 상태와 부분 출력에 따라 무작위 선택을 조건화하는 신경망을 절차적 모델에 통합한다.
• 대규모 SMC가 생성한 예제 출력 데이터를 기반으로 최대우도 기반으로 신경 가이드를 훈련시킨다.
• 특히 복잡한 교차점에서 다중모달 불확실성을 모델링하기 위해 혼합 밀도 네트워크를 사용한다.
• 현재 위치와 방향을 처리할 수 있는 경량이며 순방향 전파 구조의 신경망 아키텍처를 설계한다.
• 절차적 모델의 누적적 성질을 활용하여, 생성 중 현재 위치를 유지함으로써 효과적인 컨텍스트 인식 유도를 가능하게 한다.
• 훈련된 모델을 효율적인 SMC 중요도 샘플러로 적용하여 필요한 입자 수와 계산 시간을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 영상 기반 제약 조건 하에서 절차적 그래픽스 모델의 효율적이고 암시적인 추론을 위해 신경망을 사용할 수 있는가?
• RQ2 명시적 기울기 계산 없이도 신경 가이드가 절차적 모델의 사후 분포를 얼마나 잘 근사할 수 있는가?
• RQ3 혼합 밀도 네트워크와 같은 아키텍처 선택이 복잡한 다중모달 제약 공간에서 성능을 향상시키는가?
• RQ4 이 암시적 프레임워크에서 안정적이고 고품질의 추론을 달성하기 위해 얼마나 많은 훈련 예제가 필요한가?
• RQ5 이 방법이 목표 품질 기준에 도달하기 위해 필요한 SMC 입자 수를 크게 줄일 수 있는가?

주요 결과

• 신경망 기반 유도 모델은 기존의 지도되지 않은 모델과 동일한 품질 기준을 입자 수 최대 10배 감소와 계산 시간 최대 10배 감소로 달성한다.
• 혼합 밀도 네트워크의 사용은 't'와 같은 복잡한 형태의 교차점에서 다중모달 불확실성을 모델링함으로써 성능 향상을 이룬다.
• 약 1,000개의 훈련 예제 이후 성능이 포화 상태에 도달함을 확인하여, 각 예제의 고차원 무작위 선택으로 인해 효과적인 데이터 크기가 크다는 것을 시사한다.
• 2,000개의 SMC 생성 예제(각각 600개의 입자)를 기반으로 훈련하는 데 약 10시간이 소요되었고, 모델 훈련은 2시간 이내에 완료되었다.
• 회로 유사한 설계 제약 조건 하에서는 유도 모델이 약 3.5초 내로 결과를 생성한 반면, 기준 SMC 샘플은 약 70초가 소요되었다.
• 이 방법은 형태 매칭을 넘어서, 회로 보드와 유사한 밀도 높고 가장자리가 뚜렷한 패턴을 선호하는 다른 가능성 함수에도 일반화 가능하다.