[논문 리뷰] CoordX: Accelerating Implicit Neural Representation with a Split MLP Architecture

Ruofan Liang, Hongyi Sun외 1명|arXiv (Cornell University)|2022. 01. 28.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 좌표 기반 암묵적 신경 표현의 학습 및 추론을 가속화하기 위해 각 입력 좌표 차원을 별도로 처리한 후 특징을 융합하는 분할 MLP 아키텍처인 CoordX를 제안한다. 이 방법은 표준 MLP와 유사한 정확도를 유지하면서 최대 2.92배의 속도 향상을 달성하여 이미지, 영상 및 3D 모델의 렌더링과 학습을 더 빠르게 구현한다.

ABSTRACT

Implicit neural representations with multi-layer perceptrons (MLPs) have recently gained prominence for a wide variety of tasks such as novel view synthesis and 3D object representation and rendering. However, a significant challenge with these representations is that both training and inference with an MLP over a large number of input coordinates to learn and represent an image, video, or 3D object, require large amounts of computation and incur long processing times. In this work, we aim to accelerate inference and training of coordinate-based MLPs for implicit neural representations by proposing a new split MLP architecture, CoordX. With CoordX, the initial layers are split to learn each dimension of the input coordinates separately. The intermediate features are then fused by the last layers to generate the learned signal at the corresponding coordinate point. This significantly reduces the amount of computation required and leads to large speedups in training and inference, while achieving similar accuracy as the baseline MLP. This approach thus aims at first learning functions that are a decomposition of the original signal and then fusing them to generate the learned signal. Our proposed architecture can be generally used for many implicit neural representation tasks with no additional memory overheads. We demonstrate a speedup of up to 2.92x compared to the baseline model for image, video, and 3D shape representation and rendering tasks.

연구 동기 및 목표

• 암묵적 신경 표현에서 좌표 기반 MLP의 학습 및 추론에 소요되는 높은 계산 비용을 해결한다.
• 특히 고해상도 신호에서 전체 좌표 포인트를 함께 처리하는 표준 MLP의 비효율성을 극복한다.
• 메모리 오버헤드를 증가시키지 않으면서도 추론과 학습을 가속화하는 일반적인 아키텍처를 개발한다.
• 이미지, 영상 및 3D 모델 표현, 그리고 새로운 시야 합성과 같은 다양한 작업에서 더 빠른 렌더링과 학습을 가능하게 한다.
• 분할 브랜치의 특징 차원을 늘리는 등의 아키텍처 수정을 통해 속도, 정확도 및 모델 용량 간의 상호 교환 관계를 탐색한다.

제안 방법

• 입력 좌표를 개별 차원(예: x, y, z)으로 분해하고 각 차원을 별도의 초기 MLP 브랜치를 통해 처리한다.
• 네트워크의 첫 번째 단계에서 각 좌표 차원을 독립적으로 처리하기 위해 공유된 완전 연결 층을 적용한다.
• 분할된 브랜치의 출력을 공유된 최종 MLP를 통해 융합하여 최종 신호 예측을 생성한다.
• 모델 크기가 비례적으로 증가하지 않도록 하면서도 분할 브랜치의 표현 능력을 향상시키기 위해 감소 차원 R을 도입한다.
• 이미지 복원과 같은 고주파 작업에서 더 나은 신호 피팅을 위해 SIREN 초기화를 사용한다.
• 일관된 속도 향상을 보이며 이미지, 영상 및 3D 모델 표현 등 다양한 작업에 분할 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 MLP에서 입력 좌표 차원을 분할하면 표현 정확도를 훼손하지 않고도 계산량을 줄일 수 있는가?
• RQ2 다양한 신호 유형에서 분할 아키텍처는 표준 MLP와 비교해 학습 및 추론 속도에서 어떤 성능을 보이는가?
• RQ3 감소 차원 R을 늘일 경우 표현 품질과 계산 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 아키텍처는 새로운 시야 합성 및 3D 재구성과 같은 다양한 암묵적 신경 표현 작업에 일반화될 수 있는가?
• RQ5 분할 아키텍처를 확장할 경우 속도, 정확도 및 파라미터 수 간의 상호 교환 관계는 어떻게 되는가?

주요 결과

• CoordX는 이미지, 영상 및 3D 모델 작업 전반에서 표준 좌표 기반 MLP보다 추론 및 학습 속도를 최대 2.92배 빠르게 한다.
• R=1인 기본 CoordX 모델은 표준 MLP 대비 PSNR가 3dB 감소(40.25에서 37.08로)하여 약간의 정확도 손실이 있음을 나타낸다.
• R++ 전략을 사용해 감소 차원 R을 3으로 늘였을 때 PSNR는 43.55로 상승하여 기준 MLP의 40.25를 초월한다.
• R=3, R++일 경우 최대 4.78MB의 모델 크기여도 기준 MLP보다 학습 및 추론 속도가 더 빠르며, 이는 효율성 향상을 입증한다.
• 같은 R 값에서 감소 차원 R을 늘리는 것보다 브랜치의 특징 크기를 늘리는 R++ 전략이 더 효과적이다.
• R을 증가시킬 경우 기준 모델과 유사한 정확도를 유지하며, 이는 분할 아키텍처가 표준 MLP 성능을 따라하거나 초월할 수 있음을 보여준다.