[논문 리뷰] Fast Training of Neural Lumigraph Representations using Meta Learning

Alexander W. Bergman, Petr Kellnhofer외 1명|arXiv (Cornell University)|2021. 06. 28.

Advanced Vision and Imaging참고 문헌 13인용 수 4

한 줄 요약

MetaNLR++는 좌표 기반 신경형태 네트워크와 CNN 기반 이미지 특징 집합, 메타학습을 조합하여 신경 루미거프트 표현의 학습을 가속화함으로써 기존 수 시간이 소요되던 학습을 분 단위로 단축시킨다. 이는 최적화된 메타학습 기반의 형태 및 특징에 대한 사전 지식을 기반으로 암묵적 표면 표현을 추출하여 실시간 렲영을 가능하게 한다.

ABSTRACT

Novel view synthesis is a long-standing problem in machine learning and computer vision. Significant progress has recently been made in developing neural scene representations and rendering techniques that synthesize photorealistic images from arbitrary views. These representations, however, are extremely slow to train and often also slow to render. Inspired by neural variants of image-based rendering, we develop a new neural rendering approach with the goal of quickly learning a high-quality representation which can also be rendered in real-time. Our approach, MetaNLR++, accomplishes this by using a unique combination of a neural shape representation and 2D CNN-based image feature extraction, aggregation, and re-projection. To push representation convergence times down to minutes, we leverage meta learning to learn neural shape and image feature priors which accelerate training. The optimized shape and image features can then be extracted using traditional graphics techniques and rendered in real time. We show that MetaNLR++ achieves similar or better novel view synthesis results in a fraction of the time that competing methods require.

연구 동기 및 목표

• 신규 시점 합성에서 신경 시나리오 표현의 장기적 학습 시간 문제를 해결하기 위해.
• 희소 2D 입력 이미지에서 고품질의 합성된 시점 렌더링을 실시간으로 가능하게 하기 위해.
• SfM나 MVS와 같은 느린 사전 처리 단계에 의존도를 줄이기 위해, 프oxy 형태와 특징을 종합적으로 최적화하는 엔드 투 엔드 최적화를 통해.
• 효율적인 신경형태 및 이미지 특징 네트워크 초기화를 위한 메타학습을 활용해 수렴 속도를 가속화하기 위해.
• 신경 렌더링 파이프라인에서 이미지 품질, 학습 속도, 렌더링 효율성 간의 균형을 확보하기 위해.

제안 방법

• 프록시 형태를 표현하기 위해 좌표 기반 신경망을 사용하며, 이는 이미지 특징 인코더 및 디코더와 함께 종합적으로 최적화된다.
• 2D CNN이 입력 이미지에서 특징을 추출하고, 이를 미분 가능 재투영 메커니즘을 통해 학습된 표면에 집계한다.
• 수렴 속도를 가속화하기 위해 형태 네트워크, 특징 인코더, 집계 함수에 대한 효과적인 초기화를 학습하기 위해 메타학습을 적용한다.
• 최종적으로 암묵적 표면 표현을 추출하고, 전통적인 그래픽스 기법을 사용해 실시간 성능을 확보한다.
• 형태 학습의 초기 단계에서 정확한 기하학적 구조를 확보하기 위해 객체 마스크를 활용한 레이 마스크 손실이 형태 학습을 감독한다.
• 표면에 특징을 직접 집계함으로써 볼륨 렌더링을 피하고, 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 메타학습을 통해 신경 루미거프트 표현의 학습 시간을 크게 단축시킬 수 있을까, 이미지 품질을 희생시키지 않고 말이다?
• RQ2 형태 및 특징 네트워크의 엔드 투 엔드 최적화가 사전 계산된 SfM/MVS 파이프라인에 대한 의존도를 제거할 수 있을까?
• RQ3 표면 기반 신경 렌더링 접근법이 광학적 사실감 있는 신규 시점 합성과 함께 실시간 추론을 달성할 수 있을까?
• RQ4 메타학습을 통한 신경형태 사전 지식과 이미지 특징 사전 지식의 통합이 수렴 속도와 최종 성능에 어떤 영향을 미칠까?
• RQ5 신경 렌더링에서 형태의 세밀함과 특징 기반 표현 능력 사이의 상호 교환 관계는 어떠한가?

주요 결과

• MetaNLR++는 NLR 데이터셋에서 PSNR 37.55(LPIPS 0.034)를 기록하여 NLR++ (PSNR 35.54, LPIPS 0.046)를 초월한다.
• 고품질 결과를 얻기 위해 학습 시간을 30분 이내로 단축시켰으며, 경쟁 기법의 수 시간 또는 수 일 대비 급격히 향상되었다.
• 학습 후 암묵적 표면 표현을 추출하고 렌더링함으로써 실시간 렌더링을 가능하게 한다.
• 메타학습을 통해 형태 및 특징 네트워크의 초기화를 효과적으로 학습함으로써 수렴 시간을 감소시켰다.
• 단지 6개의 학습 시점으로도 높은 일반화 능력을 보이며, 보간된 시점에서 조건부로 높은 이미지 품질을 유지한다.
• PSNR 및 LPIPS 지표에서 기준 모델인 NLR++보다 성능이 향상되어 더 나은 시각적 품질을 나타낸다.