[논문 리뷰] A Survey of Complex-Valued Neural Networks

Joshua Bassey, Lijun Qian외 1명|arXiv (Cornell University)|2021. 01. 28.

Neural Networks and Applications참고 문헌 148인용 수 78

한 줄 요약

이 논문은 복소값 신경망(CVNNs)에 대한 체계적 고찰을 제공하고, 활성화 함수, 학습/최적화 방법, 입력/출력 표현 및 응용 분야를 분류하며 도전 과제와 향후 방향을 논의한다.

ABSTRACT

Artificial neural networks (ANNs) based machine learning models and especially deep learning models have been widely applied in computer vision, signal processing, wireless communications, and many other domains, where complex numbers occur either naturally or by design. However, most of the current implementations of ANNs and machine learning frameworks are using real numbers rather than complex numbers. There are growing interests in building ANNs using complex numbers, and exploring the potential advantages of the so-called complex-valued neural networks (CVNNs) over their real-valued counterparts. In this paper, we discuss the recent development of CVNNs by performing a survey of the works on CVNNs in the literature. Specifically, a detailed review of various CVNNs in terms of activation function, learning and optimization, input and output representations, and their applications in tasks such as signal processing and computer vision are provided, followed by a discussion on some pertinent challenges and future research directions.

연구 동기 및 목표

• 활성화, 학습/최적화, 입력/출력 표현, 및 응용 분야별로 최첨단 CVNNs에 대한 체계적 검토 및 분류를 제공한다.
• 다른 학파를 비교·대조하고, CVNN 접근 방식의 유사점, 차이점, 장점 및 한계를 강조한다.
• CVNNs가 직면한 도전과제에 대해 논의하고 향후 연구를 위한 유망한 방향을 개요로 제시한다.
• 신호처리, 통신, 비전 분야에서 연구자들이 언제 왜 CVNNs를 사용하는지 이해할 수 있도록 기반을 확립한다.

제안 방법

• 활성화 함수 유형, 학습/최적화 접근법, 및 입력/출력 표현에 따라 CVNN 문헌의 조사 및 분류.
• 홀로모픽(holomorphic) 대 비홀로모픽 및 분할 활성화(Type A vs Type B)를 포함한 활성화 함수 특성에 대한 논의.
• Wirtinger 미적분으로 그라디언트 기반 역전파와 비그라디언트 파생없이 접근하는 방법을 포함한 학습 방법에 대한 설명.
• 복소수 도메인에서의 복소 손실(L), 로그손실, 역전파 업데이트에 대한 수학적 형식화 제시.
• CVNN의 복소수 표현에 대한 역사적 맥락과 이론적 이유에 대한 개요.

실험 결과

연구 질문

• RQ1 CVNN에서 어떤 활성화 함수가 연구되었으며 그것들은 어떻게 다른가(holomorphic 대 non-holomorphic, split-type, ETF, ReLU 적응 등)?
• RQ2 CVNN에 사용되는 학습 및 최적화 전략은 무엇인가( Wirtinger calculus를 이용한 그라디언트 기반, 비그라디언트 방법, 이차 방법)?
• RQ3 CVNN에서 입력과 출력은 어떻게 표현되는가(분할-실수, 분할-위상, 완전 복소수, MVN/MLMVN 프레임워크)?
• RQ4 어떤 응용 분야에서 CVNN가 잠재적 이점을 보이며, 어떤 도전과제가 더 넓은 채택을 저해하는가?

주요 결과

• CVNNs는 split-type, fully complex, ETF-based, non-parametric, 및 ReLU-like 변형을 포함한 활성화 함수의 광범위한 스펙트럼을 활용하며, 단일 최상의 선택에 대한 합의가 없다.
• Wirtinger calculus는 gradient-based CVNN 학습에서 복소 도메인 그라디언트를 도출하기 위한 기본 도구로, 복소 도메인 역전파를 가능하게 한다.
• CVNN에는 그라디언트 기반 역전파와 다값 뉴런을 위한 도함수 비의존(derivative-free) 오류 수정 접근법 등 서로 다른 학습 패러다임이 있다.
• CVNN에서 입력/출력 표현은 split-real 및 split-amplitude/phase에서 완전한 복소수까지 다양하며, 다값 뉴런은 단위 원(outputs) 제공.
• 이 연구는 홀로모픽 제약과 실용적 비홀로모픽 활성화 간의 절충을 강조하며 규제화, 초기화 및 안정성의 도전과제를 강조한다.
• 이 작업은 역사적 발전을 통합하고 향후 방향을 개략하며, 복소값 데이터가 자연스러운 영역(예: 신호처리, 통신)에서 CVNN의 잠재력을 시사한다.