[논문 리뷰] X-Fields: Implicit Neural View-, Light- and Time-Image Interpolation

Mojtaba Bemana, Karol Myszkowski외 2명|arXiv (Cornell University)|2020. 10. 01.

Advanced Vision and Imaging참고 문헌 65인용 수 12

한 줄 요약

이 논문은 2D 이미지 시퀀스에서 시점, 시간, 조명을 동시에 보간하는 데미터리스, 기하학적 인식 능력을 갖춘 신경 암시적 표현인 X-Fields를 제안한다. 이미지 좌표의 학습 가능한 자코비안을 통한 픽셀 운동 모델링을 통해, 짧은 훈련(수분 이내)과 소형 저장소를 바탕으로 실시간 고해상도 렌더링(20Hz)을 가능하게 하며, 복잡한 빛의 전달 및 세밀한 디테일 재구성에서 최신 기술을 능가한다.

ABSTRACT

We suggest to represent an X-Field -a set of 2D images taken across different view, time or illumination conditions, i.e., video, light field, reflectance fields or combinations thereof-by learning a neural network (NN) to map their view, time or light coordinates to 2D images. Executing this NN at new coordinates results in joint view, time or light interpolation. The key idea to make this workable is a NN that already knows the "basic tricks" of graphics (lighting, 3D projection, occlusion) in a hard-coded and differentiable form. The NN represents the input to that rendering as an implicit map, that for any view, time, or light coordinate and for any pixel can quantify how it will move if view, time or light coordinates change (Jacobian of pixel position with respect to view, time, illumination, etc.). Our X-Field representation is trained for one scene within minutes, leading to a compact set of trainable parameters and hence real-time navigation in view, time and illumination.

연구 동기 및 목표

• 밀도 높은 샘플링 없이 2D 이미지 시퀀스에서 시점, 시간, 조명 간 고품질 실시간 보간을 가능하게 하기 위해.
• 영상, 라이트 필드, 반사율 필드와 같은 고차원 샘플링(예: 5차원)에서 발생하는 기하급수적인 저장 및 처리 부담 문제를 해결하기 위해.
• 기하학적 인식 능력이 있는 기하학적 일관성 기반의 신경 네트워크 아키텍처를 통해 시점, 시간, 조명 파라미터 간의 일반화를 이끌어내는 압축형, 시나리오 특화 신경 표현을 개발하기 위해.
• 장애물, 비표면, 복잡한 빛의 전달(예: 그림자, 반사) 등의 과제를 기하학적 인식 능력과 일관성 기반의 네트워크 아키텍처를 통해 극복하기 위해.
• 최소한의 시나리오별 훈련 시간(20분 이내)으로 실시간 프레임 레이트(20Hz)와 고해상도 출력(1024×1024)을 달성하기 위해.

제안 방법

• 이 방법은 5차원 좌표(x, y, t, α, β) — 공간 위치, 시간, 조명 — 를 픽셀 색상으로 매핑하는 신경망으로 X-필드를 표현하며, 효과적으로 학습 가능한 getPixel 기능을 실현한다.
• 핵심 혁신은 3차원 투영, 조명, 가림을 모델링하는 하드코딩된 기하학적 렌더링 파이프라인을 통합하여, 네트워크가 이미지 형성의 물리학을 암묵적으로 학습할 수 있도록 하는 것이다.
• 네트워크는 시점, 시간, 조명 좌표에 대한 픽셀 위치의 자코비안을 계산하여, 좌표 변화에 따른 픽셀 이동을 예측할 수 있도록 하며, 이는 비표면 및 가림 영역 처리에 매우 중요하다.
• 일관성 가중치를 사용한 워핑 기반 접근 방식을 통해 시점 간 기하학적 일관성을 강화하여, 일관성 없거나 모호한 대응 관계에서 발생하는 잡음 줄이기.
• 네트워크는 학습 가능한 시나리오 표현과 기하학적 일관성 기반의 기하학적 렌더링 모델을 결합하며, 픽셀 색상을 직접 회귀하는 것이 아니라 공간 및 시간적 변환을 고려하여 예측한다.
• 희소하고 불규칙하게 샘플링된 이미지 세트에 대해 엔드 투 엔드로 훈련되며, 네트워크는 관측된 이미지를 재구성하고 관측되지 않은 좌표로 일반화하도록 최적화된다.

실험 결과

연구 질문

• RQ1 단일 신경망이 2D 이미지 시퀀스의 시점, 시간, 조명 간 통합적이고 암묵적인 표현으로 효과적으로 보간할 수 있는가?
• RQ2 3D 기하학을 명시적으로 제공하지 않더라도, 신경망이 복잡한 빛의 전달 현상(예: 그림자, 반사, 광선 집중)을 암묵적으로 학습할 수 있도록 어떻게 설계할 수 있는가?
• RQ3 기하학적 인식 능력이 있는 기하학적 일관성 기반의 렌더링 우선순위가 비표면 및 가림 영역에서 보간 품질 향상과 잡음 감소에 얼마나 기여하는가?
• RQ4 이러한 표현이 최소한의 시나리오별 훈련 시간으로 실시간 추론(20Hz)과 고해상도 출력(1024×1024)을 달성할 수 있는가?
• RQ5 동적인 조명과 운동이 있는 복잡한 시나리오에서, 전통적인 보간 기법과 최신 딥러닝 기반 기준 대비 이 방법의 성능은 어떠한가?

주요 결과

• X-Fields 방법은 1024×1024 해상도 이미지에서 약 20Hz의 실시간 추론을 달성하여, 동적인 시나리오의 인터랙티브 VR 탐색을 가능하게 한다.
• 모델은 부드러운 그림자, 글로벌 일조, 반사, 광선 집중과 같은 복잡한 빛의 전달 현상에 잘 일반화되며, 전통적 기법과 딥러닝 기반 기준을 모두 능가한다.
• 픽셀 위치의 자코비안을 모델링함으로써, 표준 워핑 방법에서 흔히 발생하는 고무시트 효과의 기하학적 왜곡을 효과적으로 완화한다.
• 매우 희소한 입력(예: 수십 장의 이미지)에서도 고품질의 보간을 달성하며, 이미지 데이터 외 추가 저장소가 몇 킬로바이트 수준으로 매우 적다.
• 제거 실험 결과, 일관성 가중치와 기하학적 일관성 기반의 렌더링 우선순위의 포함 여부가 재구성 품질 향상에 크게 기여하며, 특히 복잡한 운동과 가림 영역에서 두드러진다.
• 일관성 가중치와 결합할 경우, 스토케스틱한 변동(예: 泡, 노이즈)에 대해 강건하며, 이는 다양한 시점 간 일관성 없는 특징을 억제한다.