[논문 리뷰] Compact Neural Networks based on the Multiscale Entanglement Renormalization Ansatz

Andrew Hallam, Edward Grant외 3명|arXiv (Cornell University)|2017. 11. 09.

Quantum many-body systems참고 문헌 19인용 수 6

한 줄 요약

이 논문은 완전히 연결된 신경망 레이어를 다중 척도 얽힘 다듬림 해법(Multi-scale Entanglement Renormalization Ansatz, MERA)-기반 텐서화된 레이어로 대체함으로써, CIFAR-10에서 14,000배의 파라미터 감소를 이룩하면서 정확도 손실이 1% 미만이 되도록 하였다. MERA는 텐서 트레인 분해보다도 더 뛰어난 압축 효율성과 정확도 유지 성능을 보이며, 압축 가능한 깊이 신경망 모델을 위한 계층적이고 척도 불변의 표현 학습을 가능하게 한다.

ABSTRACT

This paper demonstrates a method for tensorizing neural networks based upon an efficient way of approximating scale invariant quantum states, the Multi-scale Entanglement Renormalization Ansatz (MERA). We employ MERA as a replacement for the fully connected layers in a convolutional neural network and test this implementation on the CIFAR-10 and CIFAR-100 datasets. The proposed method outperforms factorization using tensor trains, providing greater compression for the same level of accuracy and greater accuracy for the same level of compression. We demonstrate MERA layers with 14000 times fewer parameters and a reduction in accuracy of less than 1% compared to the equivalent fully connected layers, scaling like O(N).

연구 동기 및 목표

• 깊이 신경망에서 차원의 극복 문제를 해결하기 위해 정확도 손실 없이 완전히 연결된 레이어를 압축하는 것.
• 양자 many-body 물리학에서 유래한 텐서 네트워크인 MERA가 신경망의 표준 선형 레이어에 비해 효과적이고 컴팩트한 대체 수단이 될 수 있는지 탐색하는 것.
• 파라미터 효율성과 정확도 측면에서 기존 방법들과 비교하여 MERA 기반 압축 기법의 성능을 평가하는 것.
• 복잡한 데이터 상관관계를 모델링하기 위해 계층적이고 척도 불변인 텐서 분해의 잠재력을 조사하는 것.

제안 방법

• 저자는 완전히 연결된 가중치 행렬을 고차원 텐서로 재구성하여 이를 다중 척도 얽힘 다듬림 해법(MERA) 네트워크로 표현한다.
• MERA 레이어는 이소메트리와 디엔트엉글러를 사용하여 다중 척도에서 입력 특징을 계층적으로 군집화한다.
• MERA의 다단계 다듬림 과정 덕분에 장거리 상관관계를 유지하는 효율적인 텐서 연결을 가능하게 한다.
• 기존의 완전히 연결된 레이어를 MERA 레이어로 대체함으로써 신경망의 전체 아키텍처와 학습 프로토콜을 유지한다.
• 저자는 CIFAR-10 및 CIFAR-100 데이터셋에서 MERA 기반 네트워크를 학습하고 평가하여 표준 모델 및 텐서 트레인 압축 모델과 성능을 비교한다.
• 입력 특징은 MERA의 계층적 구조와 일치시키기 위해 랭크-12 텐서로 재구성되며, 최적의 재구성 방법은 아직 미해결 과제로 남아 있다.

실험 결과

연구 질문

• RQ1 MERA 기반 텐서 분해가 깊이 신경망의 완전히 연결된 레이어를 정확도 손실 없이 효과적으로 압축할 수 있는가?
• RQ2 이미지 분류 작업에서 MERA 기반 압축 기법은 파라미터 효율성과 정확도 측면에서 텐서 트레인 분해보다 어떻게 비교되는가?
• RQ3 MERA의 계층적이고 다중 척도 구조는 낮은 수준의 텐서 네트워크보다 이미지 데이터의 장거리 상관관계를 더 잘 포착하는가?
• RQ4 표준 레이어 또는 텐서 트레인 압축 레이어와 비교했을 때, MERA를 사용할 경우 모델 압축과 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ5 MERA의 다듬림 메커니즘은 깊이 신경망 모델의 일반화 성능 향상과 과적합 방지를 위해 활용될 수 있는가?

주요 결과

• CIFAR-10 데이터셋에서 MERA 기반 레이어는 표준 완전히 연결된 레이어 대비 14,000배의 파라미터 감소를 달성하였고, 테스트 정확도 손실은 1% 미만이었다.
• MERA 기반 모델은 파라미터 수가 70~100배 더 많은 텐서 트레인 기반 네트워크보다도 뛰어난 성능을 보이며, 더 나은 압축-정확도 트레이드오프를 입증하였다.
• 동일한 압축 수준에서 MERA는 텐서 트레인 분해보다 더 높은 정확도를 달성하였고, 동일한 정확도 수준에서 더 높은 압축률을 확보하였다.
• CIFAR-100에서 정확도 손실은 CIFAR-10보다 더 컸지만, MERA 모델은 유사한 텐서 트레인 네트워크보다 여전히 뛰어난 성능을 보였다.
• MERA의 계층적 구조는 디엔트엉글러가 없는 트리 텐서 네트워크보다 장거리 상관관계를 더 효과적으로 모델링할 수 있었다.
• 효율적인 텐서 연결과 파라미터 수 감소 덕분에 이 방법은 더 큰 입력 데이터셋 처리에 잠재력을 보이며, 과적합 완화에도 기여할 수 있다.