[논문 리뷰] Entanglement Entropy of Target Functions for Image Classification and Convolutional Neural Network

Yahui Zhang|arXiv (Cornell University)|2017. 10. 16.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 영상 분류 작업의 타겟 함수의 정보 복잡도를 캐릭터라이즈하기 위해 양자 다체물리학의 개념인 엔트레일먼트 엔트로피를 사용하는 것을 제안한다. 이러한 함수들이 하위 부피 법칙에 따라 엔트레일먼트 엔트로피를 가진다는 것을 보여줌으로써, 다항식 매개변수를 가진 딥 컨volution 네트워크(DCNN)가 이러한 함수를 효율적으로 표현할 수 있음을 설명하고, 깊이가 넓이보다 더 효율적으로 스케일링됨을 도출한다.

ABSTRACT

The success of deep convolutional neural network (CNN) in computer vision especially image classification problems requests a new information theory for function of image, instead of image itself. In this article, after establishing a deep mathematical connection between image classification problem and quantum spin model, we propose to use entanglement entropy, a generalization of classical Boltzmann-Shannon entropy, as a powerful tool to characterize the information needed for representation of general function of image. We prove that there is a sub-volume-law bound for entanglement entropy of target functions of reasonable image classification problems. Therefore target functions of image classification only occupy a small subspace of the whole Hilbert space. As a result, a neural network with polynomial number of parameters is efficient for representation of such target functions of image. The concept of entanglement entropy can also be useful to characterize the expressive power of different neural networks. For example, we show that to maintain the same expressive power, number of channels $D$ in a convolutional neural network should scale with the number of convolution layers $n_c$ as $D\sim D_0^{\frac{1}{n_c}}$. Therefore, deeper CNN with large $n_c$ is more efficient than shallow ones.

연구 동기 및 목표

• 영상 분류의 타겟 함수를 특성화하기 위한 새로운 정보이론적 프레임워크를 개발하여, 영상의 고전적 엔트로피를 넘어서는 것.
• 영상 함수 힐버트 공간과 양자 스핀 모델 간의 수학적 이sovorphism를 수립하여 양자 정보 개념의 적용을 가능하게 하는 것.
• 엔트레일먼트 엔트로피 경계를 통해 딥 CNN이 영상 분류 함수를 왜 효율적으로 표현하는지 설명하는 것.
• 엔트레일먼트 엔트로피 유사성을 사용하여 네트워크 깊이, 넓이(채널 수), 표현력 간의 스케일링 관계를 유도하는 것.

제안 방법

• 픽셀에 의해 인덱싱된 텐서 곱 공간으로서 영상 함수의 힐버트 공간을 수식화하여 엔트레일먼트 엔트로피의 정의를 가능하게 한다.
• 영상 함수와 양자 스핀 웨이브패킷 간의 일대일 대응을 수립하여 양자 얽힘 개념의 사용을 가능하게 한다.
• 합리적인 영상 분류 문제에서의 타겟 함수가 하위 부피 법칙에 따라 엔트레일먼트 엔트로피 경계를 만족함을 증명하며, 이는 전체 힐버트 공간의 작은 부분공간을 점유하고 있음을 의미한다.
• 딥 CNN을 다중 척도 엔트레일먼트 재정규화 앤사즈(MERA)에 유사하게 모델링하며, 컨볼루션 레이어를 디엔트레일러로, 풀링을 코arse-graining으로 간주한다.
• 표현력 유지를 위해 채널 수 $ D $, 깊이 $ n_c $, 엔트레일먼트 엔트로피 간의 스케일링 관계 $ D \sim D_0^{1/n_c} $ 를 도출한다.
• MERA 유사성을 사용하여 CNN의 엔트레일먼트 엔트로피가 $ S_{AB}/L_{AB} \sim n_c \log D $ 로 스케일링됨을 보여주며, 네트워크 아키텍처와 정보이론적 용량을 연결한다.

실험 결과

연구 질문

• RQ1 엔트레일먼트 엔트로피는 영상 분류의 타겟 함수에 대한 정보 복잡도의 의미 있는 측정치가 될 수 있는가?
• RQ2 전체 함수 공간의 지수적 크기에도 불구하고, 다항식 매개변수를 가진 딥 CNN이 완전히 연결된 네트워크보다 우수한 이유는 무엇인가?
• RQ3 CNN에서 네트워크 깊이 $ n_c $, 채널 수 $ D $, 표현력 간의 스케일링 관계는 무엇인가?
• RQ4 영상 특징의 국소성은 함수 공간 내 엔트레일먼트 엔트로피 경계와 어떻게 관련되는가?
• RQ5 양자 정보 개념인 엔트레일먼트 엔트로피와 MERA는 딥 러닝 아키텍처의 설계와 효율성에 새로운 통찰을 제공할 수 있는가?

주요 결과

• 영상 분류 문제에서의 타겟 함수는 하위 부피 법칙에 따라 엔트레일먼트 엔트로피를 보이며, 이는 전체 힐버트 공간의 작은 부분공간을 점유하고 있음을 시사한다.
• 이러한 타겟 함수의 엔트레일먼트 엔트로피는 $ S_{AB} \sim rL_{AB} $ 로 경계되며, 여기서 $ r $ 은 상수이므로 다항식 매개변수로 효율적으로 표현 가능함을 의미한다.
• $ n_c $ 개의 컨볼루션 레이어와 $ D $ 개의 채널을 가진 딥 CNN은 표현력을 $ S_{AB}/L_{AB} \sim n_c \log D $ 로 스케일링하며, 이는 타겟 함수의 엔트레일먼트 엔트로피와 일치한다.
• 동일한 표현력을 유지하기 위해 채널 수는 $ D \sim D_0^{1/n_c} $ 로 스케일링되어야 하며, 이는 깊이를 늘리는 것이 넓이를 늘리는 것보다 더 효율적임을 보여준다.
• MERA 유사성은 컨볼루션 레이어가 디엔트레일러로, 풀링 레이어가 코arse-graining 단계로 작용함을 시사하며, 계층적 특징 학습의 성공을 설명한다.
• 결과는 깊고 얕은 CNN보다 더 넓고 얕은 CNN의 경험적 성공에 대한 이론적 기반을 제공한다.