[논문 리뷰] PFCNN: Convolutional Neural Networks on 3D Surfaces Using Parallel Frames

Yuqi Yang, Shilin Liu외 3명|arXiv (Cornell University)|2018. 08. 15.

3D Shape Modeling and Analysis참고 문헌 23인용 수 21

한 줄 요약

PFCNN는 비유클리드적이고 곡률이 있는 표면에 적합한 병렬 프레임 필드를 사용하여 3D 표면 메esh에 대한 새로운 컨volution 신경망 아키텍처를 제안한다. 이는 비유클리드 곡면에서도 표준 2D 컨볼루션을 충실하게 모방할 수 있도록 한다. 국소적으로 평탄한 연결과 프레임에 맞춰진 탄성 평면을 활용함으로써 PFCNN는 국소 이동 불변성을 달성하여, 원시 입력만을 사용하는 최신 표면 기반 CNN보다도 형태 분류, 분할, 정렬 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Surface meshes are widely used shape representations and capture finer geometry data than point clouds or volumetric grids, but are challenging to apply CNNs directly due to their non-Euclidean structure. We use parallel frames on surface to define PFCNNs that enable effective feature learning on surface meshes by mimicking standard convolutions faithfully. In particular, the convolution of PFCNN not only maps local surface patches onto flat tangent planes, but also aligns the tangent planes such that they locally form a flat Euclidean structure, thus enabling recovery of standard convolutions. The alignment is achieved by the tool of locally flat connections borrowed from discrete differential geometry, which can be efficiently encoded and computed by parallel frame fields. In addition, the lack of canonical axis on surface is handled by sampling with the frame directions. Experiments show that for tasks including classification, segmentation and registration on deformable geometric domains, as well as semantic scene segmentation on rigid domains, PFCNNs achieve robust and superior performances without using sophisticated input features than state-of-the-art surface based CNNs.

연구 동기 및 목표

• 비유클리드적이고 곡률이 있는 구조를 지닌 3D 표면 메쉬에 표준 2D CNN를 직접 적용하는 데 발생하는 과제를 해결하기 위해.
• 접선 평면들 사이에서 경로에 의존하지 않는 국소 이동 불변성을 달성하기 위해, 접선 평면들 사이에 평탄한 유클리드 유사한 구조를 구성함으로써, 이는 가중치 공유와 일반화에 필수적이다.
• 표면에 고정된 기준 축이 없기 때문에 발생하는 문제를 해결하기 위해, N방향 프레임 필드를 사용하여 특징 맵을 샘플링하고, 이를 N-커버 공간에 정렬함으로써 해결한다.
• 정규 격자에 대한 재샘플링과 프레임에 맞춰진 컨볼루션을 결합함으로써, 불규칙하고 곡률이 있는 메쉬에서의 특징 학습을 향상시킨다.
• 복잡한 입력 특징에 의존하지 않고도, 변형 가능하고 강체 기하 도메인 모두에서 뛰어난 성능을 달성하기 위해.

제안 방법

• PFCNN는 병렬 프레임 필드를 사용하여 국소적으로 평탄한 연결을 인코딩함으로써, 3D 메쉬의 접선 평면들 사이에서 특징 맵의 경로에 의존하지 않는 이동을 가능하게 한다.
• 각 국소 표면 조각은 접선 평면으로 매핑되며, 프레임 필드는 컨볼루션 연산이 표준 2D 컨볼루션처럼 작동하도록 정렬을 보장한다.
• N-커버 공간 구조는 N개의 프레임 방향을 기준 축으로 사용하여 특징 맵을 정렬함으로써, 표면 전반에 걸쳐 일관된 컨볼루션 연산을 가능하게 한다.
• 불규칙한 메쉬 정점은 표준 컨볼루션 커널을 적용하기 전에 국소 조각들을 정규 격자에 재샘플링하여 처리한다.
• 이 프레임워크는 특히 국소적으로 평탄한 연결을 통해 기하학적 일관성을 유지하는 데 사용되는 이산 미분기하 도구를 활용한다. 이는 병렬 프레임 필드에 의해 인코딩된다.
• 표준 CNN를 모방함으로써 효율적이고 파rameter 효율적인 네트워크를 지원함으로써, 기존 아키텍처의 재사용이 가능하다.

실험 결과

연구 질문

• RQ1 표면 기반 CNN가 비유클리드적 3D 메쉬에서 표준 2D CNN와 유사한 국소 이동 불변성을 달성할 수 있는가?
• RQ2 곡률이 있는 표면 전반에 걸쳐 일관되고 경로에 의존하지 않는 좌표계를 어떻게 설정할 수 있는가? 이는 표준 컨볼루션 연산을 가능하게 한다.
• RQ3 메쉬 기반 딥러닝에서 프레임 필드 해상도(N)가 성능과 계산 비용에 미치는 영향은 무엇인가?
• RQ4 정규화 방법(예: 인스턴스 정규화 vs. 배치 정규화)이 변형 가능한 3D 형태에서 훈련의 안정성과 성능에 미치는 영향은 무엇인가?
• RQ5 프레임 필드 특이점에 대해 이 방법은 얼마나 강인한가? 이러한 영역 근처에서도 정확도를 유지하는가?

주요 결과

• PFCNN는 N=8일 때 ShapeNet-13 분류 벤치마크에서 93.35%의 정확도를 달성하여, 원시 입력 신호만을 사용하는 이전의 표면 기반 CNN를 능가한다.
• N=4일 때 PFCNN는 정확도(92.45%)와 계산 비용(1회 순방향 전파 시 183.91ms) 사이의 유리한 트레이드오프를 달성하여 실용적 사용에 적합하다.
• 변형 가능한 도메인에서 인스턴스 정규화(IN)가 배치 정규화(BN)를 항상 능가한다. 이는 형태 기하학적 특성의 도메인별 통계적 변동성 때문일 것이다.
• 프레임 필드 특이점에 대해 강인함을 보였으며, 특이점 정점의 예측 오차와 상관관계가 없었다. 원본 메쉬에서 특이점의 정렬 정확도는 93.4%, 리메쉬된 경우 90.2%로, 특이점 근처에서도 안정적인 성능을 유지함을 시사한다.
• 절단 실험 결과, 프레임 필드 정렬과 N-커버 공간 구조가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어진다.
• PFCNN는 강체 도메인에서의 의미적 시(scene) 분할과 형태 정렬 작업에서 최신 기술을 달성하였으며, 기하 도메인 전반에 걸쳐 일반화 능력을 입증하였다.