[논문 리뷰] Surreal: Complex-Valued Deep Learning as Principled Transformations on a Rotational Lie Group.

Rudrasis Chakraborty, Yifei Xing외 1명|arXiv (Cornell University)|2019. 10. 18.

Image Retrieval and Classification Techniques인용 수 5

한 줄 요약

이 논문은 복소수 데이터를 위한 기하학적 딥러닝 프레임워크인 Surreal을 제안한다. 복소수를 회전 리 군 위의 변환으로 모델링하여 가중 프리체트 평균을 통한 등변성 컨볼루션과 불변 거리 변환을 가능하게 한다. 이 방법은 실수 또는 복소수 기반 기준 모델에 비해 훨씬 작은 모델 크기로 MSTAR 및 RadioML에서 최신 기준 성능을 달성한다.

ABSTRACT

Complex-valued data is ubiquitous in signal and image processing applications, and complex-valued representations in deep learning have appealing theoretical properties. While these aspects have long been recognized, complex-valued deep learning continues to lag far behind its real-valued counterpart. We propose a principled geometric approach to complex-valued deep learning. Complex-valued data could often be subject to arbitrary complex-valued scaling; as a result, real and imaginary components could co-vary. Instead of treating complex values as two independent channels of real values, we recognize their underlying geometry: We model the space of complex numbers as a product manifold of non-zero scaling and planar rotations. Arbitrary complex-valued scaling naturally becomes a group of transitive actions on this manifold. We propose to extend the property instead of the form of real-valued functions to the complex domain. We define convolution as weighted Frechet mean on the manifold that is equivariant to the group of scaling/rotation actions, and define distance transform on the manifold that is invariant to the action group. The manifold perspective also allows us to define nonlinear activation functions such as tangent ReLU andG-transport, as well as residual connections on the manifold-valued data. We dub our modelSurReal, as our experiments on MSTAR and RadioML deliver high performance with only a fractional size of real-valued and complex-valued baseline models.

연구 동기 및 목표

• 신호 및 영상 처리 분야에서 이론적으로 유리한 복소수 딥러닝의 개발이 부족한 점을 해결한다.
• 복소수의 실수부와 허수부를 독립적인 채널로 취급하는 제한점을 극복하기 위해 그 내재된 기하학적 구조를 모델링한다.
• 다양체 기하학을 활용해 실수 기반 딥러닝 연산을 복소수 영역으로 원칙적으로 확장하는 프레임워크를 개발한다.
• 군 등변성 및 불변 연산을 통해 복소수 데이터를 위한 효율적이고 파rameter 효율적인 모델을 가능하게 한다.
• 실제 데이터셋인 MSTAR 및 RadioML에서 더 작은 모델 크기로 뛰어난 성능을 보여준다.

제안 방법

• 영이 아닌 복소수의 공간을 영이 아닌 스케일링과 평면상의 회전의 곱다양체로 모델링하여 회전 리 군을 형성한다.
• 컨볼루션을 복소다양체 위의 가중 프리체트 평균으로 정의하여 스케일링 및 회전에 대한 군 작용에 대해 등변성을 보장한다.
• 스케일링/회전 군 작용에 대해 불변인 다양체 상의 거리 변환을 도입한다.
• 기하학적 일관성을 확보하기 위해 탄성 ReLU 및 G-트랜스포트를 포함한 다양체 기반 비선형 활성화 함수를 설계한다.
• 학습 안정성과 표현력 향상을 위해 다양체 기반 데이터에 적합한 잔차 연결을 구현한다.
• 실수 기반 연산의 성질을 복소수 영역으로 확장함으로써 형태가 아닌 성질을 기반으로 실수 기반 연산을 일반화하는 통합 프레임워크를 구축한다.

실험 결과

연구 질문

• RQ1 복소수 스케일링 및 회전에 대해 불변 또는 등변인 연산은 무엇이며, 이를 딥러닝 프레임워크에서 어떻게 구현할 수 있는가?
• RQ2 복소다양체 상의 기하학적 연산은 기존 실수 또는 복소수 기반 네트워크에 비해 더 효율적이고 정확한 모델을 가능하게 하는가?
• RQ3 다양체 기반 활성화 함수와 잔차 연결은 복소수 신호 처리 작업에서 성능을 어떻게 향상시키는가?
• RQ4 기하학적 원칙을 통해 복소수 기반 벤치마크에서 정확도를 유지하거나 향상시키면서 모델 크기를 얼마나 줄일 수 있는가?

주요 결과

• Surreal은 실수 또는 복소수 기반 기준 모델에 비해 파라미터 수의 일부분만으로도 MSTAR 레이더 영상 분류 벤치마크에서 최신 기준 성능을 달성한다.
• 모델은 RadioML 데이터셋에서도 높은 정확도를 보이며, 실수 기반 및 복소수 기반 기준 모델보다 유의미하게 작은 모델 크기로 슈퍼리어한 성능을 보인다.
• 군 등변성 컨볼루션을 통해 복소수 데이터의 기하학적 대칭성을 활용함으로써 파rameter 효율적인 학습이 가능하다.
• 탄성 ReLU 및 G-트랜스포트와 같은 다양체 기반 활성화 함수는 기하학적 일관성을 유지하고 학습 안정성을 향상시킨다.
• 복소다양체 상의 거리 변환은 스케일링 및 회전에 대해 불변이므로 임의의 복소수 변환 하에서도 강력한 특징 표현이 가능하다.
• 다양체 설정에 적합한 잔차 연결은 최적화 및 일반화를 향상시켜 최소한의 파라미터로도 높은 성능을 기여한다.