[논문 리뷰] Matrix-centric Neural Networks.

Kien Do, Truyen Tran외 1명|arXiv (Cornell University)|2017. 03. 04.

Advanced Graph Neural Networks인용 수 2

한 줄 요약

이 논문은 입력, 히든, 출력 레이어 전반에 걸쳐 정보를 본질적으로 행렬로 표현하는 매트릭스 중심 신경망을 소개한다. 이는 파라미터 증가를 가장 큰 차원에 비례하게 줄여, 히든 유닛 수에 비례하는 것과는 다릅니다. 이 방법은 피드포워드, 순환, 메모리 증강, 그래프 기반 네트워크에 대해 압축되고 우아한 아키텍처를 가능하게 하며, 숫자 인식, 얼굴 복원, 시퀀스 모델링, EEG 분류, 노드 분류 등 다양한 작업에서 최신 기술 수준의 성능을 보이며 효율성이 향상됩니다.

ABSTRACT

We present a new distributed representation in deep neural nets wherein the information is represented in native form as a matrix. This differs from current neural architectures that rely on vector representations. We consider matrices as central to the architecture and they compose the input, hidden and output layers. The model representation is more compact and elegant -- the number of parameters grows only with the largest dimension of the incoming layer rather than the number of hidden units. We derive several new deep networks: (i) feed-forward nets that map an input matrix into an output matrix, (ii) recurrent nets which map a sequence of input matrices into a sequence of output matrices. We also reinterpret existing models for (iii) memory-augmented networks and (iv) graphs using matrix notations. For graphs we demonstrate how the new notations lead to simple but effective extensions with multiple attentions. Extensive experiments on handwritten digits recognition, face reconstruction, sequence to sequence learning, EEG classification, and graph-based node classification demonstrate the efficacy and compactness of the matrix architectures.

연구 동기 및 목표

• 벡터 기반 표현의 비효율성과 복잡성을 해결하기 위해 본질적으로 매트릭스 기반 표현을 도입함으로써 딥 뉴럴 네트워크의 효율성을 향상시키는 것.
• 히든 유닛 수가 아니라 들어오는 레이어의 가장 큰 차원에 비례하여 파라미터 증가를 줄이는 것.
• 피드포워드, 순환, 메모리 증강, 그래프 신경망과 같은 다양한 모델의 아키텍처를 매트릭스 표기법을 통해 통합하고 단순화하는 것.
• 그래프 기반 모델에서 다중 헤드 어텐션 메커니즘을 매트릭스 수식을 통해 더 효과적이고 해석 가능한 방식으로 가능하게 하는 것.
• 다양한 벤치마크 작업에서 매트릭스 중심 네트워크의 압축성과 성능를 실험적으로 검증하는 것.

제안 방법

• 입력, 히든, 출력 레이어를 벡터가 아닌 매트릭스로 표현하여 네트워크 전반에서 직접적인 매트릭스 연산을 가능하게 하는 것.
• 학습된 매트릭스 변환을 통해 입력 매트릭스를 출력 매트릭스로 매핑하는 피드포워드 네트워크를 설계하는 것.
• 매트릭스 RNN 유닛을 사용하여 입력 매트릭스 시퀀스를 처리하고 출력 매트릭스 시퀀스를 생성하는 순환 네트워크를 제안하는 것.
• 메모리 은행과 읽기/쓰기 연산을 매트릭스 연산으로 표현하는 방식으로 메모리 증강 네트워크를 재해석하는 것.
• 인접성 매트릭스와 노드 특징 매트릭스를 직접 매트릭스 곱셈과 어텐션 메커니즘을 통해 다루는 방식으로 그래프 신경망을 매트릭스 수식으로 표현하는 것.
• 다중 헤드 어텐션을 확장하기 위해 다수의 매트릭스 투영을 적용하고 결과를 압축되고 미분 가능한 형태로 통합하는 것.

실험 결과

연구 질문

• RQ1 본질적으로 매트릭스 기반 표현을 기반으로 한 딥 뉴럴 네트워크 아키텍처가 벡터 기반 대비 더 뛰어난 파라미터 효율성을 달성할 수 있는가?
• RQ2 피드포워드, 순환, 그래프 기반 신경망 아키텍처 전반에 걸쳐 매트릭스 연산을 체계적으로 적용할 수 있는가?
• RQ3 매트릭스 중심 설계가 메모리 증강 네트워크나 다중 헤드 어텐션 레이어와 같은 복잡한 모델의 수식을 단순화하고 통합할 수 있는가?
• RQ4 매트릭스 중심 접근 방식이 시퀀스 모델링과 그래프 기반 학습 작업에서 성능 향상에 어느 정도 기여하는가?
• RQ5 매트릭스 중심 네트워크에서 감소된 파라미터 증가율이 더 적은 파라미터로도 동일하거나 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 매트릭스 중심 아키텍처는 기존의 벡터 기반 모델보다 파라미터 수가 적은 수준에서 손글씨 숫자 인식에서 최신 기술 수준의 성능을 달성한다.
• 얼굴 복원 작업에서 높은 정밀도를 유지하면서도 파라미터가 매우 압축된 상태로 뛰어난 효율성과 성능을 보여준다.
• 시퀀스 간 학습에서 매트릭스 기반 순환 네트워크는 길이가 길어질수록 더 효율적으로 스케일링되며 경쟁력 있는 결과를 도출한다.
• EEG 분류 작업에서 매트릭스 중심 모델은 베이스라인 모델을 초월하여 시간 신호 데이터에 대한 강력한 일반화 능력을 보여준다.
• 그래프 기반 노드 분류 작업에서 매트릭스 수식은 단순하면서도 효과적인 다중 헤드 어텐션 메커니즘을 가능하게 하여 벤치마크 데이터셋에서 성능 향상을 이룬다.
• 파라미터 수가 입력 레이어의 가장 큰 차원에 비례하여 증가하므로, 전통적인 아키텍처에 비해 훨씬 더 압축된 모델이 된다.