[논문 리뷰] Neural Intersection Function

Shin Fujieda, Chih-Chen Kao외 1명|arXiv (Cornell University)|2023. 01. 01.

Computer Graphics and Visualization Techniques인용 수 3

한 줄 요약

이 논문은 몬테카를로 레이 트레이싱에서 GPU 레이 캐스팅을 가속화하기 위해 불규칙하고 분산되는 하위 수준의 BVH 탐색을 다층퍼셉트론(MLP)으로 대체하는 신경망 기반의 새로운 방법인 신경 교차 함수(Neural Intersection Function, NIF)를 제안한다. NIF는 레이 앨리어싱에 영향을 받지 않는 레이 파arameterization과 특징 격자를 통해 가시성을 인코딩함으로써 이미지 품질을 유지하면서 2차 레이 캐스팅 속도를 최대 35% 향상시킨다.

ABSTRACT

The ray casting operation in the Monte Carlo ray tracing algorithm usually adopts a bounding volume hierarchy (BVH) to accelerate the process of finding intersections to evaluate visibility. However, its characteristics are irregular, with divergence in memory access and branch execution, so it cannot achieve maximum efficiency on GPUs. This paper proposes a novel Neural Intersection Function based on a multilayer perceptron whose core operation contains only dense matrix multiplication with predictable memory access. Our method is the first solution integrating the neural network-based approach and BVH-based ray tracing pipeline into one unified rendering framework. We can evaluate the visibility and occlusion of secondary rays without traversing the most irregular and time-consuming part of the BVH and thus accelerate ray casting. The experiments show the proposed method can reduce the secondary ray casting time for direct illumination by up to 35% compared to a BVH-based implementation and still preserve the image quality.

연구 동기 및 목표

• GPU 기반 레이 트레이싱에서 불규칙한 메모리 접근과 분기 분산으로 인해 발생하는 BVH 탐색의 성능 저하 문제를 해결하기 위해.
• 신경망이 BVH 탐색 파이프라인에서 가장 불규칙한 부분을 규칙적이고 GPU에 유리한 계산으로 대체할 수 있는지 탐색하기 위해.
• 신경 가시성 예측(NIF)을 기존 BVH 기반 레이 트레이싱과 통합하는 통합된 렌더링 프레임워크를 개발하기 위해.
• 복잡한 장면에서 많은 삼각형을 포함한 경우에도 레이 캐스팅 성능을 크게 향상시키면서도 높은 이미지 품질을 유지하기 위해.

제안 방법

• BVH 트리를 탐색하지 않고도 레이-오브젝트 교차점을 예측할 수 있는 다층퍼셉트론(MLP) 기반의 신경 교차 함수(NIF)를 제안한다.
• 레이가 충격 오브젝트의 축에 평행한 경계 상자(AABB) 외부에서 출발하는지 내부에서 출발하는지에 따라 별도의 외부 및 내부 신경망을 사용한다.
• 충격 오브젝트의 AABB에 조건부한 잠재 벡터를 저장하기 위해 특징 격자를 사용하며, 이는 국소적 적응성과 오브젝트 간 일반화 능력 향상에 기여한다.
• 레이 앨리어징에 영향을 받지 않는 새로운 입력 파arameterization을 적용하여, 레이가 외부에서 출발할 경우 원점을 AABB 교차점으로 변환하고, 내부에서 출발할 경우 좌표 기반 잠재 코드를 사용함으로써 레이 앨리어징을 제거한다.
• 현재 시점에서의 레이를 사용한 몬테카를로 샘플링을 통해 네트워크를 훈련시켜 2차 레이에 대한 효율적인 추론을 가능하게 한다.
• 하이브리드 렌더링 파이프라인에 NIF를 통합: NIF는 복잡한 모델(10만 개 이상의 삼각형)을 처리하고, 간단한 기하 구조에는 기존 BVH를 사용하여 표준 레이 트레이싱과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 신경망이 이미지 품질을 유지하면서도 GPU에서 성능 향상을 이룰 수 있도록 하위 수준의 BVH 탐색을 대체할 수 있는가?
• RQ2 레이 앨리어징에 영향을 받지 않도록 입력 파arameterization을 어떻게 설계할 수 있으며, 동일한 레이에 대해 일관된 충격 예측을 보장할 수 있는가?
• RQ3 NIF는 복잡한 장면에서 기존 BVH 기반 기준 대비 2차 레이 캐스팅 시간을 얼마나 줄일 수 있는가?
• RQ4 기존 레이 트레이싱 파이프라인에 전체 아키텍처를 대체하지 않고도 NIF를 통합할 수 있으며, 기하 복잡도에 따라 어떻게 확장되는가?

주요 결과

• NIF는 복잡한 장면에서 BVH 기반 레이 트레이싱 대비 2차 레이 캐스팅 시간을 최대 35% 감소시키며, 관측된 최대 속도 향상은 1.53배이다.
• NIF와 BVH 기반 렌더링 간의 PSNR는 39.11 dB로, 거의 동일한 이미지 품질을 유지함을 나타낸다.
• 5000만 개의 삼각형을 포함한 장면(STATUETTES)에서, NIF는 복잡한 모델에만 선택적으로 적용했을 경우 레이 캐스팅 시간을 약 15% 감소시킨다.
• NIF는 기하 복잡도와 무관하게 일정한 메모리 사용량과 실행 시간을 유지하므로, 매우 세밀한 모델에 대해 BVH보다 더 뛰어난 확장성을 가진다.
• BVH 탐색 분산이 높은 장면, 즉 많은 소형 또는 복잡한 오브젝트를 포함한 장면에서 성능 향상이 가장 두드러진다.
• 내부 BVH 탐색 시간이 크게 변동하더라도, AABB와 교차하는 레이 수가 유사한 장면에서는 일관된 성능을 유지한다.