[논문 리뷰] Inverse Transport Networks

Chengqian Che, Fujun Luan외 3명|arXiv (Cornell University)|2018. 09. 28.

Computer Graphics and Visualization Techniques참고 문헌 53인용 수 25

한 줄 요약

이 논문은 다양한 물리 기반 정규화와 가시화 가능한 렌더링을 결합한 역운반 네트워크(ITNs)를 소개한다. 이는 예측된 시점 파arameter가 참값과 일치할 뿐 아니라 재현된 이미지와도 일치하도록 보장함으로써 역렌더링 성능을 향상시킨다. 주요 기여는 확률적 경사 하강법을 통한 엔드 투 엔드 훈련을 가능하게 하는 일반 목적의 미분 가능 렌더러를 제공하는 것으로, 기존의 학습 기반 방법에 비해 새로운 기하학적 구조와 조명 조건에 대한 일반화 능력이 크게 향상된다.

ABSTRACT

We introduce inverse transport networks as a learning architecture for inverse rendering problems where, given input image measurements, we seek to infer physical scene parameters such as shape, material, and illumination. During training, these networks are evaluated not only in terms of how close they can predict groundtruth parameters, but also in terms of whether the parameters they produce can be used, together with physically-accurate graphics renderers, to reproduce the input image measurements. To en- able training of inverse transport networks using stochastic gradient descent, we additionally create a general-purpose, physically-accurate differentiable renderer, which can be used to estimate derivatives of images with respect to arbitrary physical scene parameters. Our experiments demonstrate that inverse transport networks can be trained efficiently using differentiable rendering, and that they generalize to scenes with completely unseen geometry and illumination better than networks trained without appearance- matching regularization.

연구 동기 및 목표

• 순수 데이터 기반의 역렌더링 방법의 한계를 해결하기 위해, 이는 종종 새로운 기하학적 구조와 조명 조건에 대해 일반화 능력이 떨어지기 때문이다.
• 기존 물리 기반 역렌더링의 계산 비용이 과도한 문제를 해결하기 위해 딥러닝과 가시화 가능한 렌더링을 통합한다.
• 복잡한 빛의 전달 효과(예: 상호 반사, 표면 내 산란)를 고려한, 일반 목적의 미분 가능 렌더러를 개발한다.
• 예측된 파arameter와 렌더링된 이미지 간의 일致성을 강제하는 정규화된 목적 함수를 사용해 역네트워크를 훈련한다.
• 다중 반사 빛 전달을 포함한 도전적인 역산산란 문제에서 뛰어난 일반화 성능을 입증한다.

제안 방법

• 입력 이미지 측정값에서 물리적 시점 파arameter(예: 형상, 재질, 조명)를 예측하도록 훈련된 신경망 아키텍처인 역운반 네트워크(ITNs)를 제안한다.
• 기하학, 재질, 조명 등 임의의 시점 파arameter를 통해 기울기를 계산할 수 있는 일반 목적의 미분 가능 몬테카를로 렌더러를 도입한다.
• 빛 전달의 경로 적분 공식을 사용해 상호 반사 및 표면 내 산란과 같은 복잡한 전역 조명 효과를 모델링한다.
• 참값 파arameter 감독과 이미지 재구성 손실을 조합한 정규화된 손실 함수를 최적화하기 위해 확률적 경사 하강법을 사용한다.
• 가시화 가능한 렌더러를 활용해 이미지 재구성 오차를 렌더링 과정 전반에 걸쳐 역전파함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 이 프레임워크를 다중 경로 빛 전달이 매우 복잡한 고르지 않은 역산산란 문제에 적용한다.

실험 결과

연구 질문

• RQ1 가시화 가능한 렌더링을 통해 예측된 물리적 시점 파arameter가 참값과 일치할 뿐 아니라 정방향 렌더링을 통해 입력 이미지를 재현할 수 있도록 하는 딥러닝 아키텍처를 훈련시킬 수 있는가?
• RQ2 가시화 가능한 렌더링을 통한 이미지 재구성 일치성 도입이 새로운 기하학적 구조와 조명 조건에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ3 가시화 가능한 렌더러는 상호 반사 및 표면 내 산란과 같은 복잡한 빛 전달 효과를 처리하면서도 효율적인 기울기 계산을 가능하게 하는가?
• RQ4 이미지 일치성 정규화를 통한 훈련이 표준 지도 학습 대비 역렌더링 작업 성능을 향상시키는가?
• RQ5 역운반 네트워크는 훈련 중에 볼 수 없었던 새로운 형태와 조명 조건을 가진 시점에 얼마나 잘 일반화되는가?

주요 결과

• 표준 학습 기반 방법에 비해 외부 기하학적 구조와 조명 조건에 대한 일반화 능력이 크게 향상된다는 점에서, ITNs는 참값과 일치하는 파arameter뿐만 아니라 입력 이미지를 재현하는 데에도 뛰어난 성능을 보인다.
• 가시화 가능한 렌더러 덕분에 상호 반사 및 표면 내 산란과 같은 복잡한 빛 전달 현상에 대해서도 확률적 경사 하강법을 통한 엔드 투 엔드 훈련이 가능하다.
• 파arameter 오차와 이미지 재구성 오차를 동시에 최소화하는 정규화된 훈련 목적 함수는 더 물리적으로 타당하고 일반화 능력이 뛰어난 예측을 가능하게 한다.
• 균일한 역산산란 문제에 대한 실험 결과, ITNs는 다중 반사 빛 전달이 매우 복잡한 조건에서도 시점 파arameter 재구성에서 베이스라인 성능을 능가한다.
• 완전히 새로운 기하학적 구조와 조명 조건을 가진 시점에 대해서도 효과적으로 일반화되며, 테스트 데이터의 분포 이탈에 대한 강건성을 보여준다.
• 가시화 가능한 렌더러를 활용해 임의의 시점 파arameter를 통해 기울기를 계산할 수 있어, 이 프레임워크는 다양한 역렌더링 문제에 적용 가능하다.