[논문 리뷰] Neural radiance fields in the industrial and robotics domain: applications, research opportunities and use cases

Eugen Šlapak, Enrique Pardo외 3명|arXiv (Cornell University)|2023. 08. 14.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 산업 및 로봇 공학 애플리케이션을 위한 신경 레디언스 필드(NeRFs)를 탐구하며, 3차원 환경 재구성, 영상 압축, 동적 운동 추정 분야에서의 잠재력을 입증한다. 개념 실증 실험을 통해 NeRFs는 최대 74%의 영상 압축 절감과 로봇 운동의 디스parity 추정에서 PSNR 23 dB, SSIM 0.97를 달성하여 산업 현장에서의 효율성과 정확성을 입증한다.

ABSTRACT

The proliferation of technologies, such as extended reality (XR), has increased the demand for high-quality three-dimensional (3D) graphical representations. Industrial 3D applications encompass computer-aided design (CAD), finite element analysis (FEA), scanning, and robotics. However, current methods employed for industrial 3D representations suffer from high implementation costs and reliance on manual human input for accurate 3D modeling. To address these challenges, neural radiance fields (NeRFs) have emerged as a promising approach for learning 3D scene representations based on provided training 2D images. Despite a growing interest in NeRFs, their potential applications in various industrial subdomains are still unexplored. In this paper, we deliver a comprehensive examination of NeRF industrial applications while also providing direction for future research endeavors. We also present a series of proof-of-concept experiments that demonstrate the potential of NeRFs in the industrial domain. These experiments include NeRF-based video compression techniques and using NeRFs for 3D motion estimation in the context of collision avoidance. In the video compression experiment, our results show compression savings up to 48\% and 74\% for resolutions of 1920x1080 and 300x168, respectively. The motion estimation experiment used a 3D animation of a robotic arm to train Dynamic-NeRF (D-NeRF) and achieved an average peak signal-to-noise ratio (PSNR) of disparity map with the value of 23 dB and an structural similarity index measure (SSIM) 0.97.

연구 동기 및 목표

• 신경 레디언스 필드(NeRFs)가 산업 및 로봇 공학 응용 분야에서 실현 가능하고 유용한지 조사하는 것.
• 기존 3차원 모델링 방식의 높은 구현 비용과 수동 입력 요구 사항을 해결하기 위해 암묵적 신경 표현을 활용하는 것.
• 영상 압축 및 동적 운동 추정과 같은 실질적인 산업 응용 분야에서 NeRFs의 잠재력을 입증하는 것.
• 미개척된 산업 분야 NeRF 응용 기회를 규명하여 향후 연구의 기초를 마련하는 것.
• 실제 개념 실증 실험을 통해 학술 연구와 산업 현장 간 격차를 메우는 것.

제안 방법

• 2차원 이미지 입력에서 3차원 좌표를 레디언스 및 밀도로 매핑함으로써 NeRF를 활용해 암묵적 3차원 환경 표현을 학습하는 방식.
• 시간에 따라 변화하는 환경(예: 로봇 암의 움직임)을 모델링하기 위해 시간 정보를 통합한 동적-NeRF(D-NeRF)를 적용하는 방식.
• 동적 환경에서의 깊이 재구성 품질 평가를 위해 신규 시점 합성 및 디스파리티 맵 생성을 활용하는 방식.
• 이미지 시퀀스에 대해 NeRF를 훈련시켜 프레임을 학습된 표현에서 재구성함으로써 영상 압축 실험을 수행하는 방식.
• D-NeRF 출력 결과를 Blender 렌더링 애니메이션의 진짜값과 비교하여 재구성 품질을 PSNR 및 SSIM 지표로 평가하는 방식.
• PSNR 및 SSIM의 분포를 분석하기 위해 커널 밀도 추정 및 박스 플롯을 활용해 훈련, 검증, 테스트 세트 전반에서 데이터 분포를 시각화하는 방식.

실험 결과

연구 질문

• RQ1 NeRFs는 산업 응용 분야에서 3차원 모델링의 비용과 수동 작업을 효과적으로 줄일 수 있는가?
• RQ2 NeRFs는 산업 환경에서 시각적 품질을 유지하면서 얼마나 효율적인 영상 압축을 가능하게 할 수 있는가?
• RQ3 로봇 동적 환경(예: 움직이는 암)에서 NeRFs는 3차원 운동과 깊이를 얼마나 정확하게 추정할 수 있는가?
• RQ4 PSNR 및 SSIM 지표는 충돌 방지에 있어 NeRF 기반 깊이 추정의 실용성에 어떤 영향을 미치는가?
• RQ5 NeRFs를 다중 모odal 또는 언어 기반 표현으로 확장함으로써 어떤 미래 산업 응용이 가능해질 수 있는가?

주요 결과

• NeRF 기반 영상 압축은 1920x1080 해상도에서 최대 48%의 절감, 300x168 해상도에서는 최대 74%의 절감을 달성하였다.
• D-NeRF는 3D 애니메이션된 로봇 암에서 디스파리티 맵 재구성 시 평균 PSNR 23 dB, SSIM 0.97를 기록하였다.
• D-NeRF 모델은 훈련 세트에서 진짜값에 비해 더 낮은 편차를 보이며 깊이 재구성의 강건성을 입증하였다.
• SSIM 값이 0.97~1.0인 것은 대규모 구조물의 고품질 재구성을 의미하며, 이는 충돌 방지에 충분한 수준임을 시사한다.
• PSNR는 미세한 깊이 편차에 민감하지만, 이러한 정밀도는 로봇 안전 응용에 반드시 필요한 것은 아니다.
• 결과적으로 NeRFs는 산업용 로봇 공학 분야에서 기존 3차원 모델링 및 렌더링 기법에 대한 실질적인 대안이 될 수 있음을 시사한다.