[논문 리뷰] Learning Deep Matrix Representations

Kien Do, Truyen Tran외 1명|arXiv (Cornell University)|2017. 03. 04.

Advanced Graph Neural Networks참고 문헌 22인용 수 9

한 줄 요약

이 논문은 입력, 히든, 출력 모두 벡터가 아닌 행렬로 표현되는 행렬 기반 딥 뉴럴 네트워크를 소개한다. 이는 새로운 행렬-행렬 변환 $ Y = \sigma(U^T X V + B) $ 를 사용하여 파rameter 수를 감소시키고 구조적 정보를 유지한다. 이 방법은 순서 모델링, 뇌파 분류, 그래프 학습 등의 작업에서 다중주의 메커니즘과 효율적인 그래프 컨볼루션을 통해 더 컴act한 모델과 향상된 성능을 가능하게 한다.

ABSTRACT

We present a new distributed representation in deep neural nets wherein the information is represented in native form as a matrix. This differs from current neural architectures that rely on vector representations. We consider matrices as central to the architecture and they compose the input, hidden and output layers. The model representation is more compact and elegant -- the number of parameters grows only with the largest dimension of the incoming layer rather than the number of hidden units. We derive several new deep networks: (i) feed-forward nets that map an input matrix into an output matrix, (ii) recurrent nets which map a sequence of input matrices into a sequence of output matrices. We also reinterpret existing models for (iii) memory-augmented networks and (iv) graphs using matrix notations. For graphs we demonstrate how the new notations lead to simple but effective extensions with multiple attentions. Extensive experiments on handwritten digits recognition, face reconstruction, sequence to sequence learning, EEG classification, and graph-based node classification demonstrate the efficacy and compactness of the matrix architectures.

연구 동기 및 목표

• 벡터 기반 표현의 한계를 해결하기 위해, 이는 두 방향 또는 이원적 데이터에서 구조적 정보를 손실하고, 두 방향 또는 연관성 있는 데이터에 대해 큰 파라미터 수가 필요로 한다.
• 입력, 히든 상태, 출력이 모두 자연스럽게 행렬로 표현되는 통합 프레임워크를 개발하기 위해.
• 행렬 표현이 인해 구조적 특성이 있는 작업(예: 뇌파, 그래프, 순서)에서 더 효율적인 파라미터화와 더 나은 일반화를 가능하게 함을 보여주기 위해.
• 행렬 네트워크가 다중주의 메커니즘을 자연스럽게 지원하고 기존 모델(예: 메모리 증강 네트워크, 그래프 컨볼루션)을 재해석할 수 있음을 보여주기 위해.

제안 방법

• 입력 $ X $, 출력 $ Y $, 파라미터 $ U, V, B $ 가 모두 행렬인 핵심 변환 $ Y = \sigma(U^T X V + B) $ 를 제안하여, 데이터의 구조를 유지하면서도 파라미터 효율적인 학습을 가능하게 한다.
• 행렬의 행과 열에 대한 소프트 주의 메커니즘을 가능하게 하는 행-맵핑 및 열-맵핑 행렬 $ U $ 와 $ V $ 를 사용하여 다중 헤드 주의 메커니즘을 지원한다.
• 벡터 연산을 행렬 연산으로 대체하여 행렬 기반 피드포워드 및 순환 네트워크를 유도함으로써, 네트워크 전반에 걸쳐 데이터 구조를 유지한다.
• 메모리 증강 네트워크와 그래프 신경망을 행렬 네트워크의 특수한 경우로 재해석하여, 기존 모델(예: GCN)이 제안된 mat2mat 레이어로 표현될 수 있음을 보여준다.
• 스펙트럼 기반 GCN을 행렬 형태로 표현하여 파라미터 효율적인 그래프 컨볼루션 메커니즘을 도입함으로써 확장 가능하고 해석 가능한 메시지 전달을 가능하게 한다.
• Kipf & Welling (2016)과 유사한 재정규화 기법을 행렬 표현 프레임워크 내에서 사용하여 학습을 안정화시킨다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 행렬 표현이 이원적 또는 이분적 데이터에서 벡터화된 표현보다 더 잘 구조적 정보를 유지할 수 있는가?
• RQ2 제안된 행렬-행렬 변환 $ Y = \sigma(U^T X V + B) $ 는 표준 벡터 기반 완전 연결 레이어와 비교해 파라미터 효율성과 성능 측면에서 어떻게 성능을 내는가?
• RQ3 행렬 기반 순환 네트워크가 더 적은 파라미터로 순서 모델링 및 체계적 데이터 작업(예: 뇌파 분류)에서 표준 RNN을 능가할 수 있는가?
• RQ4 어떻게 하면 행렬 표현이 순서 및 그래프 작업에서 다중 헤드 주의 메커니즘을 자연스럽게 지원할 수 있는가?
• RQ5 기존 그래프 신경망을 제안된 행렬 네트워크 프레임워크를 통해 체계적으로 재해석하고 확장할 수 있는가?

주요 결과

• 행렬 기반 피드포워드 네트워크는 더 적은 파라미터로 MNIST 및 얼굴 데이터에서 더 나은 재구성 성능를 보이며, 벡터 기반 모델에 존재하지 않는 구조적 정규화 효과를 입증한다.
• 행렬 기반 순환 네트워크는 순서-순서 학습 및 뇌파 신호 분류에서 표준 RNN을 능가하며, 현저히 감소된 파라미터 수로 더 높은 정확도를 달성한다.
• 제안된 행렬 기반 그래프 모델은 인용 네트워크(예: Cora, PubMed)에서 노드 분류 성능을 향상시키며, 다중주의 메커니즘이 단일 헤드 주의보다 성능을 더욱 향상시킨다.
• 제안된 행렬 표현은 그래프 컨볼루션을 더 컴팩트하고 해석 가능한 형태로 표현할 수 있게 하며, 스펙트럼 GCN 표현과 매우 유사하게 유지하면서도 효율적인 구현을 가능하게 한다.
• 행렬 네트워크의 파라미터 수는 은닉 유닛의 수가 아니라 입력 행렬의 최대 차원에 따라 증가하므로 고차원 환경에서 상당한 효율성 향상을 이룬다.
• 실험 결과는 행렬 표현이 순차적 또는 관계 기반 데이터를 포함한 작업에서 효과적인 주의 메커니즘과 메모리 접근을 가능하게 함을 확인한다.