[논문 리뷰] SurReal: Complex-Valued Learning as Principled Transformations on a Scaling and Rotation Manifold

Rudrasis Chakraborty, Yifei Xing외 1명|arXiv (Cornell University)|2019. 10. 18.

Cognitive Science and Education Research참고 문헌 47인용 수 4

한 줄 요약

이 논문은 복소수 데이터를 위한 기하학적 딥러닝 프레임워크인 SurReal을 제안한다. 복소수를 스케일링과 회전의 리만다만으로 모델링함으로써, 동치성(convolution)과 불변성 거리 변환을 가능하게 한다. 이 방법은 실수 기반 기준 대비 0.7%의 크기와 복소수 기반 기준 대비 58%의 크기로 MSTAR 및 RadioML에서 최고 성능을 달성한다.

ABSTRACT

Complex-valued data is ubiquitous in signal and image processing applications, and complex-valued representations in deep learning have appealing theoretical properties. While these aspects have long been recognized, complex-valued deep learning continues to lag far behind its real-valued counterpart. We propose a principled geometric approach to complex-valued deep learning. Complex-valued data could often be subject to arbitrary complex-valued scaling; as a result, real and imaginary components could co-vary. Instead of treating complex values as two independent channels of real values, we recognize their underlying geometry: We model the space of complex numbers as a product manifold of non-zero scaling and planar rotations. Arbitrary complex-valued scaling naturally becomes a group of transitive actions on this manifold. We propose to extend the property instead of the form of real-valued functions to the complex domain. We define convolution as weighted Fréchet mean on the manifold that is equivariant to the group of scaling/rotation actions, and define distance transform on the manifold that is invariant to the action group. The manifold perspective also allows us to define nonlinear activation functions such as tangent ReLU and G-transport, as well as residual connections on the manifold-valued data. We dub our model SurReal, as our experiments on MSTAR and RadioML deliver high performance with only a fractional size of real-valued and complex-valued baseline models.

연구 동기 및 목표

• 임의의 복소수 스케일링으로 인해 실수부와 허수부가 상호 연관되는 경우가 많기 때문에 실수 기반 딥러닝의 복소수 데이터 처리 능력에 대한 한계를 해결하기 위해.
• 실수/허수 채널로 독립적으로 간주하지 않고, 스케일링과 회전의 비유클리드 다각형으로서 복소수를 점으로 간주하는 원칙적인 기하학적 프레임워크를 개발하기 위해.
• 데이터 증강을 피하고 일반화 성능을 향상시키기 위해 네트워크 아키텍처에 복소수 스케일링에 대한 불변성을 직접 통합하기 위해.
• 복소수 다각형 기하학에 맞게 설계된 새로운 레이어 함수들—예를 들어 가중치가 부여된 프레셰 평균 컨볼루션, 거리 변환, 다각형에 값이 부여된 활성화 함수—를 설계하기 위해.

제안 방법

• 비영인 스케일링(R>0)과 평면적 회전(S¹)의 곱 다각형으로 복소수의 공간을 모델링하여 리만다만으로 구성되며, 리 Lie 군 작용을 형성한다.
• 이 다각형 상에서 가중치가 부여된 프레셰 평균으로 컨볼루션을 정의함으로써, 복소수 스케일링 및 회전에 대한 동치성을 보장한다.
• 특징 맵과 그 프레셰 평균 사이의 다각형 거리를 계산하는 거리 변환 레이어를 도입하여 군 작용에 대한 불변성을 달성한다.
• 기하학적 구조를 유지하는 다각형 상에서 정의된 비선형 활성화 함수인 탄성 ReLU와 G-트랜스포트를 제안한다.
• 지수 및 로그 함수를 사용하여 다각형 상에서 잔차 연결을 구성함으로써 깊은 아키텍처를 가능하게 한다.
• 결과적으로 얻어진 SurReal 모델을 사용하여 MSTAR 및 RadioML의 복소수 데이터를 분류하고, 거리 변환 후 실수 기반 레이어를 적용한다.

실험 결과

연구 질문

• RQ1 데이터 증강에 의존하지 않고도 임의의 복소수 스케일링에 대해 복소수 딥러닝을 불변성으로 만들 수 있는가?
• RQ2 더 효율적이고 원칙적인 학습을 위해 활용할 수 있는 복소수 데이터의 기하학적 구조는 무엇인가?
• RQ3 복소수의 리만다만에서 컨볼루션과 활성화 함수를 재정의하여 동치성과 불변성을 달성할 수 있는가?
• RQ4 표준 실수 기반 또는 복소수 기반 기준 대비 기하 기반 연산은 정확도와 모델 효율성 측면에서 어떻게 비교되는가?
• RQ5 기하학적 원칙에 기반한 딥러닝 모델이 훨씬 적은 파rameter 수로 높은 성능을 달성할 수 있는가?

주요 결과

• SurReal은 SNR = 10일 때 RadioML 데이터셋에서 76.1%의 테스트 정확도를 달성하였으며, 실수 기반 기준(72.7%)을 뛰어넘고도 모델 크기가 그의 0.7%에 불과하다.
• 동일한 SNR에서 SurReal은 복소수 기반 기준(76.3%)의 성능을 따라잡지만, 파rameter 수는 그의 58%에 불과하다.
• 모델은 내재된 복소수 스케일링 불변성을 통해 데이터 증강이 필요 없게 되었으며, 학습 시간이 단축되었다.
• MSTAR SAR 데이터셋에서 SurReal은 실수 기반 및 복소수 기반 기준 대비 훨씬 더 작은 아키텍처로 높은 성능을 보였다.
• 기하 기반 컨볼루션과 거리 변환의 사용은 크기와 위상 정보를 효과적으로 포착하는 효율적인 표현 학습을 가능하게 했다.
• 이 프레임워크는 표준 유클리드 공간에서는 구현이 불가능한 기하학적으로 일관된 비선형 함수—예를 들어 탄성 ReLU와 G-트랜스포트—의 설계를 가능하게 했다.