[논문 리뷰] NeAT: Neural Adaptive Tomography

Darius Rückert, Yuanhao Wang외 3명|arXiv (Cornell University)|2022. 02. 04.

Computer Graphics and Visualization Techniques인용 수 8

한 줄 요약

NeAT는 가속 가능한 신경형 렌더링 파이프라인을 사용하여 복소형 재구성에 적합한 하이브리드 명시적-암시적 옥트리 구조를 도입한다. 학습 가능한 신경형 특징을 갖춘 이 구조는 기하학적 및 광학적 재구성의 자가교정 기능을 가능하게 하며, 다양한 기하학적 및 광학적 조건에서 최적화 기반 솔버 및 기존 신경망 방법에 비해 뛰어난 재구성 품질과 속도를 달성한다. 특히 희소 시점, 제한된 각도, 노이즈가 많은 환경에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we present Neural Adaptive Tomography (NeAT), the first adaptive, hierarchical neural rendering pipeline for multi-view inverse rendering. Through a combination of neural features with an adaptive explicit representation, we achieve reconstruction times far superior to existing neural inverse rendering methods. The adaptive explicit representation improves efficiency by facilitating empty space culling and concentrating samples in complex regions, while the neural features act as a neural regularizer for the 3D reconstruction. The NeAT framework is designed specifically for the tomographic setting, which consists only of semi-transparent volumetric scenes instead of opaque objects. In this setting, NeAT outperforms the quality of existing optimization-based tomography solvers while being substantially faster.

연구 동기 및 목표

• 희소 시점, 제한된 각도 커버리지 또는 높은 노이즈가 있는 등 정의되지 않은 단층촬영 데이터로부터 3D 부피 영역을 재구성하는 문제를 해결한다.
• 기존의 신경 역형상 및 최적화 기반 단층촬영 솔버의 높은 계산 비용을 줄이면서도 재구성 품질을 향상시킨다.
• 재구성 과정 중 기하학적 및 광학적 자가교정을 가능하게 하는 기하학적으로 타당한, 기울기 기반의 센서 모델을 도입한다.
• 적응형 옥트리 샘플링과 신경형 특징을 활용하여 복잡한 영역에 계산 자원을 집중시키고 공백 영역을 제거하는 효율적인 GPU 최적화 프레임워크를 개발한다.
• 합성 및 실세계 단층촬영 데이터셋에서 최신 기술 대비 뛰어난 재구성 품질과 추론 속도를 입증한다.

제안 방법

• 각 리프 노드가 작은 신경형 특징 부피를 저장하는 적응형 옥트리 구조를 사용하여 3D 영역을 계층적이고 명시적으로 표현한다.
• 레이어-옥트리 교차점 계산 및 레이를 따라 신경형 특징 샘플링을 수행하는 기울기 기반 레이 트레이싱 파이프라인을 사용하며, 광학적 렌더링을 위해 가중치 통합을 수행한다.
• 샘플링된 특징을 레이디언스 값으로 매핑하는 신경형 디코더 네트워크를 통합하고, 이를 광학적 교정 모듈을 거쳐 최종 픽셀 강도를 산출한다.
• 옥트리 구조, 신경형 특징, 디코더 가중치, 기하학적/광학적 교정 파rameter까지 파이프라인 전반을 백프로파게이션을 통해 종단 간 최적화한다.
• PyTorch의 자동 미분을 활용하여 정확한 전진 및 역방향 프로젝션 연산자 구현이 필요 없이 효율적인 기울기 계산을 수행한다.
• 복잡한 영역에 계산 자원을 동적으로 할당하고 공백 영역을 제거하는 적응형 정밀 조정을 적용하여 효율성과 메모리 사용량을 향상시킨다.

실험 결과

연구 질문

• RQ1 적응형 옥트리 구조를 갖춘 하이브리드 명시적-암시적 신경형 표현이 단층촬영 역형상에서 순수 암시적 또는 순수 명시적 표현보다 재구성 품질과 속도 측면에서 뛰어나게 성능을 높일 수 있는가?
• RQ2 기울기 기반 기반의 기하학적 렌더링 최적화가 기존의 최적화 기반 단층촬영 솔버보다 정의되지 않은 설정에서 더 뛰어난 재구성 품질을 달성할 수 있는가?
• RQ3 제안된 자가교정 메커니즘이 기하학적 및 광학적 오차가 있는 실세계 데이터를 처리하는 데 얼마나 효과적인가?
• RQ4 적응형 옥트리 표현이 단층촬영에서처럼 흩어진 샘플이 많은 부피 영역에서 메모리와 계산을 효율적으로 관리할 수 있는가?
• RQ5 신경형 특징을 정규화 요소로 사용할 경우 저신호 또는 희소 시점 환경에서 재구성 정밀도가 향상되는가?

주요 결과

• NeAT는 PSART-TV와 같은 최신 기술 기반 최적화 단층촬영 솔버에 비해 희소 시점 및 제한된 각도 설정에서 뛰어난 재구성 품질을 달성한다.
• 신경망 아키텍처임에도 불구하고 NeAT는 PSART-TV와 같은 고급 최적화 기반 방법과 유사한 계산 성능을 보이며, 효율적인 GPU 가속 기울기 기반 렌더링 덕분에 훨씬 빠른 추론 속도를 확보한다.
• 적응형 옥트리 구조는 공백 영역 효과적인 제거와 복잡한 영역에 샘플을 집중시키는 데 기여하여 정확도를 유지하면서도 메모리 및 계산 비용을 감소시킨다.
• 기하학적 및 광학적 자가교정 메커니즘이 실세계 데이터의 미세한 오차를 성공적으로 보정하여 재구성 정밀도를 향상시켰다.
• 노이즈 및 제한된 각도 커버리지에 대해 뛰어난 강인성을 보이며, 전통적 방법이 실패하는 경우에도 물리적으로 타당한 재구성을 생성한다.
• 기울기 기반 렌더링 프레임워크는 반복적 솔버에서 요구되는 복잡한 정확한 전치 연산자(A 및 A^T)의 구현과 유지가 필요 없게 하여 GPU 이식 및 최적화를 단순화시켰다.