[논문 리뷰] BACON: Band-limited Coordinate Networks for Multiscale Scene Representation

David B. Lindell, Dave Van Veen외 2명|arXiv (Cornell University)|2021. 12. 09.

Advanced Vision and Imaging인용 수 7

한 줄 요약

BACON은 각 레이어에서 스펙트럼 대역폭을 분석적으로 제어하는 밴드제한 좌표망을 도입하여, 각 스케일에 대한 감독 없이 다중스케일 시나리오 표현을 가능하게 한다. 푸리에 스펙트럼을 제약함으로써 비감독 지점에서도 예측 가능한 행동을 보장하며, 적응형 주파수 정제를 통해 SDF 평가 속도를 80배 향상시켜 단일스케일 네트워크를 초월하는 3D 재구성 및 신경 렌더링 성능을 달성한다.

ABSTRACT

Coordinate-based networks have emerged as a powerful tool for 3D representation and scene reconstruction. These networks are trained to map continuous input coordinates to the value of a signal at each point. Still, current architectures are black boxes: their spectral characteristics cannot be easily analyzed, and their behavior at unsupervised points is difficult to predict. Moreover, these networks are typically trained to represent a signal at a single scale, so naive downsampling or upsampling results in artifacts. We introduce band-limited coordinate networks (BACON), a network architecture with an analytical Fourier spectrum. BACON has constrained behavior at unsupervised points, can be designed based on the spectral characteristics of the represented signal, and can represent signals at multiple scales without per-scale supervision. We demonstrate BACON for multiscale neural representation of images, radiance fields, and 3D scenes using signed distance functions and show that it outperforms conventional single-scale coordinate networks in terms of interpretability and quality.

연구 동기 및 목표

• 비감독 지점에서 예측 불가능한 행동을 보이는 전통적인 좌표망이 투명한 블랙박스임을 해결한다.
• 이미지, 레디언스 필드, 3D 시나리오 등에 대한 다중스케일 신호 표현을 가능하게 하되, 각 스케일에 대한 감독 또는 재학습이 필요로 하지 않는다.
• 중간 활성화의 푸리에 스펙트럼을 명시적으로 모델링함으로써 좌표망에 대한 스펙트럼 분석 프레임워크를 개발한다.
• 적응형 주파수 평가 및 다중스케일 정제 전략을 통해 SDF 기반 메시 추출의 추론 효율성을 향상시킨다.

제안 방법

• 각 레이어에서 주파수 밴드가 지정된 구간 $[-B_i, B_i]$ 내에 초기화된 곱셈형 필터 네트워크와 사인 활성화 함수를 설계한다.
• 각 레이어의 출력 대역폭이 입력 대역폭의 합이 되도록 보장함으로써, 초기화 단계부터 네트워크의 스펙트럼 응답을 분석적으로 제어할 수 있도록 한다.
• 밴드제한 활성화 함수를 사용하여 중간 특징의 푸리에 스펙트럼을 제약함으로써, 비감독 좌표에서도 네트워크 행동이 예측 가능해지도록 한다.
• SDF 메시 추출 중 적응형 주파수 평가를 적용한다: $| ext{SDF}| < \tau$ (여기서 $\tau = 0.7 \times$ 최소 해상도 바vox 크기)일 경우 계산을 조기에 중단하여 평가 비용을 감소시킨다.
• 다중스케일 격자 전략을 구현하여, 더 희박한 수준에서 $| ext{SDF}| > \bar{\rho}R$ (여기서 $\rho=2$)를 확인함으로써 공백 영역을 정제하고, 메시 추출 속도를 향상시킨다.
• 적응형 주파수 평가와 다중스케일 격자를 결합하여, RTX A6000 GPU에서 기존의 밀도 높은 격자 평가 대비 80배 빠른 성능을 달성한다.

실험 결과

연구 질문

• RQ1 스펙트럼 대역폭을 분석적으로 제어할 수 있는 좌표망을 설계하여 해석 가능성과 스케일 인식 능력을 향상시킬 수 있는가?
• RQ2 중간 특징의 푸리에 스펙트럼을 제약함으로써 일반화 능력과 비감독 지점에서의 행동에 어떤 영향을 미치는가?
• RQ3 명시적인 각 스케일 감독 없이도 밴드제한 좌표망이 다중스케일에서 신호를 표현할 수 있는가?
• RQ4 적응형 주파수 평가와 다중스케일 정제 전략이 SDF 기반 메시 추출을 얼마나 가속화할 수 있는가?
• RQ5 밴드제한 네트워크의 성능은 다중스케일 3D 시나리오 재구성 및 신경 렌더링에서 기존의 단일스케일 네트워크와 비교해 얼마나 뛰어난가?

주요 결과

• BACON은 적응형 주파수 평가와 다중스케일 정제를 통해 기존의 밀도 높은 격자 평가 대비 SDF 평가 속도를 80배 향상시켰다.
• 모든 스케일을 동시에 표현함에도 불구하고, 고해상도 기준선과 유사한 카멘저 거리와 IOU 성능을 달성하여 단일스케일 좌표망을 초월하는 3D 시나리오 재구성 성능을 보였다.
• BACON은 출력 레이어의 밴드제한 특성 덕분에 다중스케일에서 매끄럽고 아티팩트 없는 재구성을 생성했으며, ReLU 기반 네트워크는 고주파 성분 유출로 인해 역각 아티팩트를 보였다.
• 분석적으로 정의된 푸리에 스펙트럼 덕분에 비감독 지점에서도 네트워크 행동이 증명 가능하게 제약을 받으며, 신뢰할 수 있는 외삽이 가능하다.
• 각 스케일 감독 없이도 다중스케일 이미지 피팅, 신경 레디언스 필드, 3D 시나리오 표현에서 최신 기준 성능을 달성했다.
• 다차원 신호 피팅은 차원의 저주로 인해 어렵지만, 최적화된 주파수 초기화를 통해 이 방법은 여전히 효과적이고 확장 가능하다.