[논문 리뷰] Parallel Transport Convolution: A New Tool for Convolutional Neural Networks on Manifolds

Stefan C. Schonsheck, Bin Dong외 1명|arXiv (Cornell University)|2018. 05. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 20

한 줄 요약

이 논문은 리만 다양체를 위한 새로운 컨볼루션 연산인 병렬 이송 컨볼루션(PTC)을 소개한다. PTC는 방향성을 유지하고, 국소적으로 지원되는, 이식 가능한 필터를 가능하게 하기 위해 병렬 이송을 활용한다. PTC는 곡선 도메인에서 웨이블릿 유사 연산과 딥 컨볼루션 네트워크를 가능하게 하며, 유클리드 방법과 유사한 성능을 달성하면서도 다양체의 변형에 대해 강건하며, FAUST 데이터셋에서 효과적인 형태 정렬을 가능하게 한다.

ABSTRACT

Convolution has been playing a prominent role in various applications in science and engineering for many years. It is the most important operation in convolutional neural networks. There has been a recent growth of interests of research in generalizing convolutions on curved domains such as manifolds and graphs. However, existing approaches cannot preserve all the desirable properties of Euclidean convolutions, namely compactly supported filters, directionality, transferability across different manifolds. In this paper we develop a new generalization of the convolution operation, referred to as parallel transport convolution (PTC), on Riemannian manifolds and their discrete counterparts. PTC is designed based on the parallel transportation which is able to translate information along a manifold and to intrinsically preserve directionality. PTC allows for the construction of compactly supported filters and is also robust to manifold deformations. This enables us to preform wavelet-like operations and to define deep convolutional neural networks on curved domains.

연구 동기 및 목표

• 기존의 다양체를 위한 방법들에서 국소적으로 지원되는, 방향성을 고려한, 이식 가능한 컨볼루션 연산의 부족을 해결하기 위해.
• 유럽형 도메인 외의 곡선 도메인, 예를 들어 리만 다양체와 이산 메쉬에 컨볼루션 신경망을 일반화하기 위해.
• 특히 비유선적 형태 분석을 위해 변형 가능한 다양체에서 강건한 특징 학습과 정렬을 가능하게 하기 위해.
• 희소 행렬 연산을 사용하여 수치적으로 효율적이고 메모리 최적화된 PTC의 구현을 개발하기 위해.

제안 방법

• PTC는 유클리드 컨볼루션을 일반화하기 위해 다양체 상의 지오데식선을 따라 필터 가중치를 병렬 이송하여 방향 정보를 유지한다.
• 이 방법은 기준점에서 인접한 점들로 필터 가중치를 병렬 이송하여 구성함으로써, 내재 기하학적 일관성을 보장한다.
• 질량 행렬과 이웃 인덱싱을 사용하는 희소 행렬 공식화를 통해 효율적인 컨볼루션 계산을 수행하며, 딥 러닝 프레임워크와의 호환성을 확보한다.
• 이 방법은 병렬 이송을 사용하는 패치 기반 보간 방식을 통해 이산 메쉬 상의 국소 컨볼루션 연산을 정의한다.
• ReLU 활성화 함수를 갖는 이중층 PTC 네트워크는 삼중 체인 손실을 사용하여 형태에 무관한, 분류 가능한 특징을 학습한다.
• 구현은 텐서플로우와 파이토치에서 희소 행렬 연산을 사용하여, 표준 유클리드 컨볼루션과 유사한 계산 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 다양체 상의 컨볼루션 연산이 유클리드 공간과 같이 방향성과 국소적 지원을 유지할 수 있는가?
• RQ2 비유클리드 곡선 도메인, 예를 들어 리만 다양체 상에 효과적으로 구축된 컨볼루션 신경망이 가능한가?
• RQ3 PTC로 학습된 특징이 다양한 다양체 간에 일반화될 수 있는가, 특히 변형 상황에서도 가능한가?
• RQ4 형태 정렬 작업에서 PTC는 스펙트럼 및 패치 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ5 PTC 레이어는 계산적으로 효율적이며 표준 딥 러닝 프레임워크와 호환되는가?

주요 결과

• PTC는 병렬 이송을 통해 국소적으로 지원되는 필터를 구성함으로써 다양체 상에서 웨이블릿 유사 연산을 가능하게 한다.
• FAUST 데이터셋에서 비유선적 형태 정렬 작업에서 유클리드 CNN과 유사한 성능을 달성한다.
• 삼중 체인 손실과 PTC 레이어를 사용하여 학습된 네트워크는 FAUST 데이터셋 내 다양한 개인 간에 일관되고 분류 가능한 특징 맵을 생성한다.
• PTC를 사용한 특징 기반 정렬은 히트 커널 서명을 사용하는 기준 방법보다 우수하며, 대응 예측에서 더 낮은 지오데식 오차를 기록한다.
• 6890개 점을 갖는 메쉬에서 이중층 PTC 네트워크의 순방향 및 역방향 전파가 희소 행렬 연산을 사용해 0.5초 이내에 완료된다.
• ADAM 최적화기와 함께 FAUST 데이터셋에서 전체 학습 과정이 8시간 내에 완료되어 실용적인 확장성을 입증한다.