[논문 리뷰] On Complex Valued Convolutional Neural Networks

Nitzan Guberman|arXiv (Cornell University)|2016. 02. 29.

Advanced Neural Network Applications참고 문헌 29인용 수 106

한 줄 요약

이 논문은 복소수 입력과 가중치를 갖는 복소값 CNN 변형을 제시하고, 학습의 도전과제를 분석하며, 위상 구조를 포착하면서 과적합을 정규화할 수 있음을 보여주고, 세포 검출 태스크를 통해 입증한다.

ABSTRACT

Convolutional neural networks (CNNs) are the cutting edge model for supervised machine learning in computer vision. In recent years CNNs have outperformed traditional approaches in many computer vision tasks such as object detection, image classification and face recognition. CNNs are vulnerable to overfitting, and a lot of research focuses on finding regularization methods to overcome it. One approach is designing task specific models based on prior knowledge. Several works have shown that properties of natural images can be easily captured using complex numbers. Motivated by these works, we present a variation of the CNN model with complex valued input and weights. We construct the complex model as a generalization of the real model. Lack of order over the complex field raises several difficulties both in the definition and in the training of the network. We address these issues and suggest possible solutions. The resulting model is shown to be a restricted form of a real valued CNN with twice the parameters. It is sensitive to phase structure, and we suggest it serves as a regularized model for problems where such structure is important. This suggestion is verified empirically by comparing the performance of a complex and a real network in the problem of cell detection. The two networks achieve comparable results, and although the complex model is hard to train, it is significantly less vulnerable to overfitting. We also demonstrate that the complex network detects meaningful phase structure in the data.

연구 동기 및 목표

• 자연 이미지에서 구조를 포착하기 위한 복소수 사용의 동기를 부여하고 CNN에서의 정규화 가능성을 탐색한다.
• 실수 CNN의 일반화로서 대응하는 학습 스킴을 갖춘 복소값 CNN을 개발한다.
• 복소값 CNN이 더 나은 정규화를 하는지, 세포 검출 태스크에서 실수 CNN과의 비교를 평가한다.
• 복소 네트워크에서 위상 구조의 역할과 표현 학습에 미치는 영향을 특징짓다.

제안 방법

• 복소 입력과 가중치를 갖는 CNN의 복소값 확장을 정의한다.
• Wirtinger 미분 및 복소 기울장을 포함한 학습을 위한 복소 미적분 도구와 역전파를 개발한다.
• 복소 합성곱은 매개변수 수가 두 배인 실수 합성곱의 제한된 형태로 작동함을 보여준다.
• 네트워크 아키텍처 내에 복소 ReLU, 풀링, 그리고 프로젝션 레이어를 구현한다.
• 세포 검출 태스크에서 복소 및 실수 네트워크를 비교하는 실증 연구를 수행하고, 최적화의 어려움과 과적합 분석을 포함한다.
• 위상 민감성을 보여주기 위한 학습된 복소 커널의 질적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 복소값 CNN이 실제 비전 태스크에서 실수값 CNN과 비슷한 성능을 달성할 수 있는가?
• RQ2 복소 도메인으로의 계산 제한이 과적합을 줄이는 정규화로 작용하는가?
• RQ3 학습된 필터에서 위상 구조가 어떻게 나타나며 표현 학습에 어떤 영향을 미치는가?
• RQ4 복소값 CNN 학습에 고유한 수치적/최적화 도전과제는 무엇인가?
• RQ5 복소 합성곱은 표준 실수 합성곱과 어떤 방식으로 관련되는가?

주요 결과

• 복소값 CNN은 매개변수 수가 두 배인 실수 CNN의 제한된 형태이다.
• 복소 모델은 위상 구조에 민감하며 위상 관련 문제에 대한 정규화된 모델로 작용할 수 있다.
• 실험적으로, 복소 네트워크와 실수 네트워크가 세포 검출에서 비슷한 결과를 얻지만, 복소 네트워크의 학습이 더 어렵다.
• 복소 네트워크는 실수 상대 네트워크에 비해 과적합에 덜 취약하다.
• 이 연구는 복소 네트워크가 데이터에서 의미 있는 위상 구조를 감지할 수 있다는 증거를 제공한다.