[논문 리뷰] Stable Tensor Neural Networks for Rapid Deep Learning

Elizabeth Newman, Lior Horesh외 2명|arXiv (Cornell University)|2018. 11. 15.

Tensor decomposition and applications참고 문헌 25인용 수 20

한 줄 요약

이 논문은 다차원 데이터를 기존의 행렬 기반 딥 러닝보다 더 효율적으로 처리할 수 있도록 t-곱 대수를 활용하는 안정적인 텐서 신경망(t-NNs)을 소개한다. 표준 행렬 연산을 텐서 연산으로 대체함으로써, 더 컴act하고 강력한 파라미터화를 달성하여 MNIST 및 CIFAR-10 벤치마크에서 더 빠른 학습과 향상된 일반화 성능을 달성한다.

ABSTRACT

We propose a tensor neural network ($t$-NN) framework that offers an exciting new paradigm for designing neural networks with multidimensional (tensor) data. Our network architecture is based on the $t$-product (Kilmer and Martin, 2011), an algebraic formulation to multiply tensors via circulant convolution. In this $t$-product algebra, we interpret tensors as $t$-linear operators analogous to matrices as linear operators, and hence our framework inherits mimetic matrix properties. To exemplify the elegant, matrix-mimetic algebraic structure of our $t$-NNs, we expand on recent work (Haber and Ruthotto, 2017) which interprets deep neural networks as discretizations of non-linear differential equations and introduces stable neural networks which promote superior generalization. Motivated by this dynamic framework, we introduce a stable $t$-NN which facilitates more rapid learning because of its reduced, more powerful parameterization. Through our high-dimensional design, we create a more compact parameter space and extract multidimensional correlations otherwise latent in traditional algorithms. We further generalize our $t$-NN framework to a family of tensor-tensor products (Kernfeld, Kilmer, and Aeron, 2015) which still induce a matrix-mimetic algebraic structure. Through numerical experiments on the MNIST and CIFAR-10 datasets, we demonstrate the more powerful parameterizations and improved generalizability of stable $t$-NNs.

연구 동기 및 목표

• 수백만 개의 파라미터를 가진 딥 뉴럴 네트워크의 높은 저장 및 계산 비용을 해결한다.
• 완전 연결 층에서의 파라미터 비효율성을 줄이기 위해 행렬을 텐서로 대체한다.
• 행렬과 유사한 대수적 성질을 유지하는 텐서 기반 신경망 프레임워크를 개발하여 안정적이고 효율적인 학습을 가능하게 한다.
• 비선형 미분방정식 해석에 기반한 안정적인 전방 전파 메커니즘을 통해 모델의 일반화 능력을 향상시킨다.
• 표준 이미지 분류 벤치마크에서 텐서 기반 파라미터화의 효과를 입증한다.

제안 방법

• t-곱 대수를 활용해 행렬 연산을 모방하는 텐서 연산을 정의함으로써 텐서 기반 선형 변환을 가능하게 한다.
• 표준 완전 연결 층 $ A_{j+1} = \sigma(W_j \cdot A_j + \vec{b}_j) $을 $ \mathcal{A}_{j+1} = \sigma(\mathcal{W}_j * \mathcal{A}_j + \vec{\mathcal{B}}_j) $로 대체하며, 여기서 $*$ 는 t-곱을 의미한다.
• 딥 네트워크를 이산화된 비선형 미분방정식으로 해석한 동적 해석 기반의 안정적인 t-NN 프레임워크를 도입한다.
• 행렬을 모방하는 대수적 구조를 유지하는 텐서-텐서 곱의 가족으로 프레임워크를 일반화한다.
• DFT 행렬을 통한 푸리에 도메인에서의 미분을 활용해 테이블 소프트맥스 손실 함수에 대한 역전파를 구현한다.
• MNIST 및 CIFAR-10 데이터셋을 사용하여 이미지 분류 작업에 t-NN 아키텍처를 적용하고 성능과 파라미터 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 텐서 기반 파라미터화는 성능을 유지하거나 향상시키면서도 딥 뉴럴 네트워크의 파라미터 수를 줄일 수 있는가?
• RQ2 t-곱 대수는 다차원 텐서 네트워크에서 어떻게 행렬을 모방하는 연산을 가능하게 하는가?
• RQ3 표준 행렬 기반 네트워크와 비교해 안정적인 t-NN 프레임워크는 일반화 능력과 학습 속도를 향상시키는가?
• RQ4 텐서-텐서 곱은 t-곱 프레임워크를 얼마나 일반화할 수 있으며, 계산 효율성을 유지하는가?
• RQ5 텐서 기반 접근 방식은 기존 방법보다 이미지 데이터의 잠재적인 다차원 상관관계를 더 효과적으로 추출하는가?

주요 결과

• 안정적인 t-NN 프레임워크는 표준 행렬 기반 네트워크보다 더 컴act하고 강력한 파라미터화 덕분에 더 빠른 학습을 달성한다.
• t-NN 아키텍처는 이미지나 영상와 같은 텐서 데이터 내재의 다차원 상관관계를 활용함으로써 파라미터 수를 줄인다.
• MNIST 및 CIFAR-10에서의 수치 실험 결과 t-NN은 유사한 행렬 기반 모델보다 더 우수한 일반화 성능을 보이며, 더 뛰어난 강건성을 나타낸다.
• t-곱 기반 텐서 대수는 핵심적인 행렬 유사 성질을 유지하여, 기존의 행렬 기반 딥 러닝 기법을 텐서 공간으로 원활하게 적용할 수 있도록 한다.
• 테이블 소프트맥스 손실 함수에 대한 역전파가 푸리에 도메인에서의 미분을 통해 유도되었으며, 이는 t-곱 대수의 행렬 유사 성질을 확인한다.
• 프레임워크는 동일한 대수적 구조와 계산적 이점을 유지하는 텐서-텐서 곱의 가족으로 일반화된다.