[논문 리뷰] Deep convolutional tensor network

Philip Blagoveschensky, Anh Huy Phan|arXiv (Cornell University)|2020. 05. 29.

Quantum many-body systems참고 문헌 24인용 수 7

한 줄 요약

이 논문은 깊이 있는 딥 뉴럴 네트워크의 성공 요소인 파rameter sharing, 국소성, 깊이를 통합하는 텐서 네트워크 기반 모델인 딥 컨volution 알 텐서 네트워크(DCTN)를 소개한다. 이는 엔트로피 플라킷 상태(EPS)를 조합하여 백프로파게이션 가능한 아키텍처로 구성한다. DCTN은 최소한의 파라미터로 MNIST 및 FashionMNIST에서 뛰어난 성능을 보이지만, 깊이에 관계없이 CIFAR10에서 심각한 과적합을 보이며, 이는 복잡한 시각 작업에 대한 텐서 회귀 모델의 스케일링에 근본적인 과제가 있음을 시사한다.

ABSTRACT

Neural networks have achieved state of the art results in many areas, supposedly due to parameter sharing, locality, and depth. Tensor networks (TNs) are linear algebraic representations of quantum many-body states based on their entanglement structure. TNs have found use in machine learning. We devise a novel TN based model called Deep convolutional tensor network (DCTN) for image classification, which has parameter sharing, locality, and depth. It is based on the Entangled plaquette states (EPS) TN. We show how EPS can be implemented as a backpropagatable layer. We test DCTN on MNIST, FashionMNIST, and CIFAR10 datasets. A shallow DCTN performs well on MNIST and FashionMNIST and has a small parameter count. Unfortunately, depth increases overfitting and thus decreases test accuracy. Also, DCTN of any depth performs badly on CIFAR10 due to overfitting. It is to be determined why. We discuss how the hyperparameters of DCTN affect its training and overfitting.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 성공 요소인 파라미터 공유, 국소성, 깊이를 동시에 구현하는 텐서 네트워크 모델을 개발하는 것.
• 엔트로피 플라킷 상태(EPS)를 백프로파게이션 가능한 레이어로 구현하여, 이를 기계 학습 파ip라인에서 사용할 수 있도록 하는 것.
• 결과적으로 도출된 딥 컨볼루션 텐서 네트워크(DCTN)의 성능을 표준 이미지 분류 벤치마크에서 평가하는 것. 특히 MNIST, FashionMNIST, CIFAR10에서의 성능을 평가한다.
• DCTN에서 일반화 성능이 열 劣하는 원인을 조사하는 것, 특히 CIFAR10과 같은 고복잡도 데이터셋에서의 과적합 원인을 분석하는 것.
• 초기화, 학습률, 입력 전처리와 같은 초모수의 영향을 최적화 및 일반화에 미치는 영향을 분석하는 것.

제안 방법

• 모델은 깊이 있는 아키텍처를 구성하기 위해 다수의 엔트로피 플라킷 상태(EPS)를 조합하여 구축되며, 깊은 CNN의 계층적 특징 학습을 모방한다.
• EPS 레이어는 텐서 결합을 사용하여 기울기 전파 가능한 함수로 구현되어 네트워크 전반에 걸친 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 입력 데이터는 초모수 ν를 포함하는 스케일링 함수를 통해 전처리되며, 이는 활성화의 크기를 영향을 미치고 최적화 안정성에 영향을 준다.
• 네트워크는 학습을 안정화시키기 위해 특정 분포로 초기화된 학습 가능한 가중치 행렬 A와 편향 벡터 b를 사용한다.
• 학습은 표준 최적화 기법을 사용한다: 학습률 스케줄링와 L2 정규화(λ)를 적용한 확률적 경사 하강법.
• 깊이를 증가시키기 위해 여러 개의 EPS 레이어를 스택하며, 각 레이어는 구성 가능한 커널 크기 K와 양자 차원 Q를 가진다.

실험 결과

연구 질문

• RQ1 텐서 네트워크 모델이 깊이 있는 딥 뉴럴 네트워크의 성공 요소인 파라미터 공유, 국소성, 깊이를 동시에 달성할 수 있는가?
• RQ2 엔트로피 플라킷 상태(EPS)를 딥 러닝 프레임워크 내에서 기울기 전파 가능한 레이어로 어떻게 구현할 수 있는가?
• RQ3 DCTN에서 깊이를 증가시키면 MNIST 및 FashionMNIST에서 테스트 정확도가 악화되는 이유는 무엇인가? 일반적으로 깊은 네트워크는 성능 향상에 기여하지만, 이 경우는 그렇지 않다.
• RQ4 DCTN은 훈련 정확도가 100%에 가까워지더라도, 모든 깊이 설정에서 CIFAR10에서 성능이 열 劣하는 이유는 무엇인가?
• RQ5 학습률, 초기화 방법, 입력 전처리(ν)와 같은 초모수들이 DCTN의 최적화 동역학과 일반화에 어떤 영향을 미치는가?

주요 결과

• 단일 EPS를 가진 얕은 DCTN는 단지 290,000개의 파라미터로 MNIST에서 89.38%의 정확도를 달성하여 단순한 시각 작업에서 뛰어난 효율성과 성능을 보였다.
• 두 번째 EPS를 추가하면 테스트 정확도가 87.65%로 감소하여, 현재 DCTN 설정에서 깊이 증가가 과적합을 악화시킨다는 것을 시사한다.
• 세 레이어 DCTN는 MNIST에서 75.94%의 정확도를 기록하여, 깊이가 이 아키텍처에서 일반화 성능을 떨어뜨린다는 것을 추가로 확인한다.
• CIFAR10에서는 최고 성능을 낸 DCTN 모델(예: Grayscale에서 54.8%)조차도 랜덤 추측 수준보다 약간 높게 성능을 내며, 어떤 깊이 설정에서도 경쟁력 있는 결과를 내지 못한다.
• CIFAR10에서 훈련 정확도가 거의 100%에 도달하여, 과적합이 최적화 어려움이 아니라 주요 실패 원인임을 시사한다.
• 초모수 조정—특히 입력 전처리에서 ν를 줄이고 초기화를 조정하는 것—은 일반화에 상당한 영향을 미치며, 이는 DCTN 성능에 있어 철저한 초모수 선택이 필수적임을 시사한다.