[논문 리뷰] READ: Large-Scale Neural Scene Rendering for Autonomous Driving

Zhuopeng Li, Lu Li외 4명|arXiv (Cornell University)|2022. 05. 11.

Computer Graphics and Visualization Techniques인용 수 5

한 줄 요약

이 논문은 자율주행을 위한 대규모 신경 장면 렌더링 방법인 READ를 제안한다. 이 방법은 $ω$-넷 네트워크를 사용해 다중 척도 신경 기술자들을 필터링하고 융합함으로써 희박한 점군에서 사진 수준의 현실감 있는 자유 시점 주행 장면을 합성한다. 이 접근법은 소비자용 하드웨어에서도 효율적이고 고정밀도의 렌더링을 가능하게 하며, 장면 편집 및 스티칭을 지원하며, KITTI 및 기타 벤치마크에서 정량적·정성적 지표 모두에서 최신 기술 수준을 달성한다.

ABSTRACT

Synthesizing free-view photo-realistic images is an important task in multimedia. With the development of advanced driver assistance systems~(ADAS) and their applications in autonomous vehicles, experimenting with different scenarios becomes a challenge. Although the photo-realistic street scenes can be synthesized by image-to-image translation methods, which cannot produce coherent scenes due to the lack of 3D information. In this paper, a large-scale neural rendering method is proposed to synthesize the autonomous driving scene~(READ), which makes it possible to synthesize large-scale driving scenarios on a PC through a variety of sampling schemes. In order to represent driving scenarios, we propose an ω rendering network to learn neural descriptors from sparse point clouds. Our model can not only synthesize realistic driving scenes but also stitch and edit driving scenes. Experiments show that our model performs well in large-scale driving scenarios.

연구 동기 및 목표

• 자율주행 차량 시뮬레이션을 위한 제한된 3D 입력 데이터로도 일관되고 대규모이며 사진 수준의 현실감 있는 주행 장면을 생성하는 데 도전한다.
• NeRF 기반 방법이 희박하고 불완전한 점군 및 고비용을 수반하는 대규모 실외 장면을 처리하는 데 가지는 한계를 극복한다.
• 고가의 다중 GPU 설정에 의존하지 않고도 소비자용 하드웨어(예: 두 대의 RTX 2070 GPU)에서 효율적이고 고품질의 신경 렌더링을 가능하게 한다.
• ADAS 및 자율주행 훈련을 위한 장면 편집, 스티칭, 파ano라믹 뷰 합성과 같은 실용적 응용을 지원한다.
• 실생활 주행 시나리오에서 흔히 발생하는 저시야성 또는 가림 영역에서의 아티팩트를 줄이고 일반화 능력을 향상시킨다.

제안 방법

• 기본 게이트 모듈을 사용해 유효하지 않은 신경 기술자를 필터링하고 희박한 점군 입력에서 특징 신뢰도를 향상시키는 $ω$-넷 아키텍처를 제안한다.
• 다양한 수용장치를 가진 특징을 융합함으로써 텍스처 세부 정보를 향상시키고 희박한 점군의 누락 영역을 메우기 위해 다중 척도 특징 융합을 활용한다.
• 렌더링 중 계산량과 메모리 사용량을 줄이기 위해 효율적인 몬테카를로 샘플링을 사용하는 패치 기반 샘플링 전략을 도입한다.
• 신경 텍스처를 갖춘 3D 메쉬 프록시를 사용해 장면를 초기화함으로써, 각 장면의 NeRF 최적화보다 더 빠른 수렴과 더 나은 일반화를 가능하게 한다.
• 공간 기울기 근사 및 렌더링의 현실감을 향상시키기 위해 가분성 카메라 모델과 톤 매핑기를 적용한다.
• 서브 장면에 대해 별도의 렌더링 네트워크를 훈련하고 공유된 신경 기술자 표현을 통해 융합함으로써 장면 스티칭을 지원한다.

실험 결과

연구 질문

• RQ1 소비자용 하드웨어에서 희박한 점군으로부터 고정밀도의 사진 수준의 현실감 있는 주행 장면 합성을 달성할 수 있는가?
• RQ2 다중 척도 특징 융합과 게이트 기반 필터링은 대규모 실외 장면에서 렌더링 품질 향상과 아티팩트 감소에 얼마나 효과적인가?
• RQ3 제안된 방법이 자율주행 시뮬레이션을 위한 장면 편집 및 스티칭을 어느 정도 지원할 수 있는가?
• RQ4 실생활 주행 벤치마크에서 PSNR, SSIM, LPIPS 측정치에 대해 NeRF 기반 및 이미지 간 번역 방법과 비교했을 때 성능은 어떠한가?
• RQ5 L1, PSNR, VGG 등의 손실 함수가 합성된 뷰의 인지적 품질과 구조 일관성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 KITTI Road 데이터셋에서 PSNR 24.19, SSIM 0.7490을 기록하여 두 지표 모두 기준선 방법을 초월한다.
• 기본 게이트 모듈을 추가함으로써 손실 값이 572.1에서 383.3으로 감소하여 PSNR 향상과 LPIPS 감소를 확인했으며, 이는 유효하지 않은 기술자 필터링의 효과를 입증한다.
• 같은 척도에서 특징 융합(Same)과 다른 척도에서 융합(Differ)을 적용함으로써 PSNR는 22.29에서 24.29로, SSIM은 0.6883에서 0.7402로 향상되어 텍스처 및 세부 정보 복구 능력 향상을 입증한다.
• L1, PSNR, VGG 손실의 조합이 가장 높은 SSIM(0.7490)과 가장 낮은 LPIPS(0.1863)를 기록하여 인지적 품질 향상을 입증한다.
• READ를 사용한 장면 스티칭은 SSIM을 0.7242에서 0.7392로 향상시키고 LPIPS를 0.1755에서 0.1625로 감소시켜 스티칭 프레임워크의 효과성을 확인한다.
• 이 방법은 성공적으로 파노라믹 뷰 합성과 동적 객체 제거를 구현하여 자율주행 데이터 증강에 실용적인 활용 가능성을 입증한다.