[논문 리뷰] Deep Learning on Implicit Neural Representations of Shapes

Luca De Luigi, Adriano Cardace외 4명|arXiv (Cornell University)|2023. 02. 10.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 inr2vec를 도입합니다. 이는 3D 형태의 개별 Implicit Neural Representations(INRs)을 압축 임베딩으로 매핑하여 재구성 없이 분류, 검색, 분할, 생성 및 도메인 간 매핑과 같은 다운스트림 작업을 가능하게 하는 인코더입니다.

ABSTRACT

Implicit Neural Representations (INRs) have emerged in the last few years as a powerful tool to encode continuously a variety of different signals like images, videos, audio and 3D shapes. When applied to 3D shapes, INRs allow to overcome the fragmentation and shortcomings of the popular discrete representations used so far. Yet, considering that INRs consist in neural networks, it is not clear whether and how it may be possible to feed them into deep learning pipelines aimed at solving a downstream task. In this paper, we put forward this research problem and propose inr2vec, a framework that can compute a compact latent representation for an input INR in a single inference pass. We verify that inr2vec can embed effectively the 3D shapes represented by the input INRs and show how the produced embeddings can be fed into deep learning pipelines to solve several tasks by processing exclusively INRs.

연구 동기 및 목표

• 재구성하여 이산 표현으로 변환하는 것을 피하고 INRs로 직접 저장된 3D 모양을 처리하는 동기를 제시한다.
• INR 가중치만으로 모양 정보를 보존하는 컴팩트하고 태스크-구분 없는 INR 인코더를 개발한다.
• 다운스트림 작업(분류, 검색, 분할, 생성)을 INR 임베딩만으로 시연한다.
• 임베딩이 서로 다른 INR 신호 간 보간 및 교차 모달 매핑을 가능하게 함을 보인다.

제안 방법

• INR(MLP의 가중치)을 계층 가중치 행렬을 하나의 입력 행렬 P로 쌓아 올리고 배치 정규화와 ReLU 활성화가 있는 간단한 선형 인코더에 입력한다.
• 인코더 임베딩에 조건화된 암시적 디코더를 학습시켜 공간의 점을 질의하고 함수 값을 회귀하여 INR의 기저 3D 신호를 재구성한다(udf, sdf, 또는 occ).
• 끝-to-end 학습을 사용하여 고정된 인코더가 표준 다운스트림 네트워크에 적합한 임베딩을 제공하도록 한다.
• 점군, 메쉬, voxels를 서로 다른 이산 표현에서 INR을 공유 잠재 공간으로 임베딩하여 일관된 처리 파이프라인을 가능하게 한다.
• INR 임베딩에 대해 Latent-GAN을 사용하여 디코드되어 이산 형태로 변환되는 새로운 형태 임베딩을 생성한다.
• 한 INR 도메인에서 다른 도메인으로 임베딩을 맵핑하는 전송 함수 네트워크를 탐구한다(예: 불완전한 구름에서 완전한 구름으로, 포인트 클라우드에서 메쉬로).

실험 결과

연구 질문

• RQ1 컴팩트한 임베딩이 INR의 가중치로부터 직접 학습되어 다운스트림 작업에 필요한 모양 정보를 보존할 수 있는가?
• RQ2 표준 딥러닝 파이프라인이 포인트 클라우드, 메쉬, 보셀 등 다양한 3D 표현에 대해 INR 임베딩에 적용 가능한가?
• RQ3 명시적 표면 재구성 없이도 INR 임베딩이 검색, 분류, 분할, 생성 및 교차 도메인 매핑과 같은 작업을 지원할 수 있는가?
• RQ4 학습된 잠재 공간이 unseen INR 간의 보간을 가능하게 할 만큼 매끄러운가 및 교차 모달 매핑을 가능하게 하는가?
• RQ5 간단한 전송 함수가 서로 다른 INR 양상이나 완성/재구성 작업 간 임베딩을 매핑할 수 있는가?

주요 결과

• inr2vec 임베딩은 특징화된 엔코더에 비해 특수한 인코더를 사용하지 않고도 모드에 따른 공통 파이프라인으로 점군 검색 성능에서 경쟁력을 발휘합니다.
• INR 임베딩에서의 분류는 포인트, 메쉬, 보셀에 대해 간단한 완전 연결 분류기를 사용하여 모달리티별 기본 벤치마크에 근접한 정확도를 달성합니다.
• 엔코더와 함께 훈련된 경량 디코더는 임베딩으로부터 모양을 재구성할 수 있으며, 잠재 공간 보간은 일관된 중간 기하를 산출합니다.
• INR 유래 임베딩에서의 부분 분할은 전용 아키텍처의 성능에 근접하여 지역적 판별 능력을 보여줍니다.
• INR 임베딩에 대해 학습된 Latent-GAN은 포인트 클라우드나 메쉬로 디코드되는 다양한 모양을 생성하며 포인트 클라우드에 대해 해상도에 구애받지 않는 생성을 가능하게 합니다.
• 전송 함수 네트워크는 불완전한 형태에서 완전한 형태로, 포인트 클라우드에서 메쉬로 임베딩을 매핑하여 일관된 재구성을 생성할 수 있습니다.