[논문 리뷰] Analysis and Design of Convolutional Networks via Hierarchical Tensor Decompositions

Nadav Cohen, Or Sharir외 4명|arXiv (Cornell University)|2017. 05. 05.

Tensor decomposition and applications참고 문헌 22인용 수 22

한 줄 요약

이 논문은 합성곱 신경망과 계층적 텐서 분해 간의 공식적 연결을 수립하여, 깊이, 너비, 풀링 기하학, 상호연결성과 같은 아키텍처 선택이 표현 효율성과 인덕티브 바이어스에 직접적인 영향을 준다는 것을 입증한다. 주요 기여는 상호연결된 확장된 합성곱 신경망을 공유된 중간층을 통해 연결할 경우 표현 능력이 제곱수만큼 증가함을 보여주는 이론적 프레임워크를 제공하는 것으로, 이는 단일 네트워크가 초선형 성장 없이도 복잡한 함수를 압축적으로 모델링할 수 있도록 한다.

ABSTRACT

The driving force behind convolutional networks - the most successful deep learning architecture to date, is their expressive power. Despite its wide acceptance and vast empirical evidence, formal analyses supporting this belief are scarce. The primary notions for formally reasoning about expressiveness are efficiency and inductive bias. Expressive efficiency refers to the ability of a network architecture to realize functions that require an alternative architecture to be much larger. Inductive bias refers to the prioritization of some functions over others given prior knowledge regarding a task at hand. In this paper we overview a series of works written by the authors, that through an equivalence to hierarchical tensor decompositions, analyze the expressive efficiency and inductive bias of various convolutional network architectural features (depth, width, strides and more). The results presented shed light on the demonstrated effectiveness of convolutional networks, and in addition, provide new tools for network design.

연구 동기 및 목표

• 텐서 분해에서 유도된 수학적 도구를 사용하여 합성곱 신경망의 표현 능력을 공식적으로 분석하기.
• 깊이, 너비, 풀링, 연결성과 같은 아키텍처 구성요소가 표현 효율성과 인덕티브 바이어스에 어떻게 영향을 주는지 규명하기.
• 표현 능력의 공식적 분석을 바탕으로 합성곱 신경망에 대한 원칙적인 설계 지침을 제공하기.
• 네트워크 간 상호연결성이 함수 표현 능력에 초선형적 성장을 이끌어내며, 복잡한 작업을 압축적으로 모델링할 수 있음을 입증하기.

제안 방법

• 층 연결성과 텐서 구조를 표현하기 위해 모드 트리를 사용하여 합성곱 신경망 아키텍처와 계층적 텐서 분해 간의 등가성을 수립하기.
• 계층적 분해 하에서의 매트리시제이션 랭크를 사용하여 다양한 네트워크 구성의 표현 능력을 비교하기.
• 서로 다른 네트워크의 중간층이 공유 텐서를 통해 정보를 교환하는 방식으로 상호연결된 네트워크를 모델링하기 위해 혼합 텐서 분해를 도입하기.
• 혼합 분해가 구성 요소의 표현 능력을 재현하기 위해 최소한 제곱수만큼의 크기 증가가 필요하다는 것을 증명함으로써 표현 효율성을 입증하기.
• 깊이, 너비, 풀링, 겹치는 컨벌루션을 분석하기 위해 이 프레임워크를 적용하며, 그 구조적 특성과 텐서 랭크 증가 간의 관계를 규명하기.
• 복잡성의 지표로 텐서 랭크를 사용하여, 다양한 아키텍처 선택 하에서 함수를 표현하기 위해 필요한 파라미터 수의 이론적 한계를 유도하기.

실험 결과

연구 질문

• RQ1 깊이, 너비, 풀링 기하학과 같은 아키텍처 구성요소가 합성곱 신경망의 표현 효율성에 어떻게 영향을 미치는가?
• RQ2 합성곱 신경망 간의 상호연결성이 그들의 표현 능력에 어느 정도 향상시키는가?
• RQ3 계층적 텐서 분해가 합성곱 신경망의 분석과 설계를 위한 공식적 프레임워크로 기능할 수 있는가?
• RQ4 텐서 랭크 증가와 해당 네트워크 아키텍처의 크기 요구사항 간의 관계는 무엇인가?
• RQ5 스킵 연결, 확장된 컨벌루션과 같은 연결성 설계 선택이 인덕티브 바이어스와 함수 근사에 어떻게 영향을 미치는가?

주요 결과

• 두 개의 서로 다른 확장된 합성곱 신경망의 중간층을 상호연결하면, 개별적으로는 구현할 수 없지만 최소한 제곱수만큼의 크기 증가 없이도 표현 가능한 함수를 갖는 혼합 네트워크가 생성된다.
• 서로 다른 두 개의 계층적 분해를 혼합한 텐서 분해는 혼합된 기능을 재현하기 위해 중간 텐서의 수가 최소한 제곱수만큼 증가해야 하며, 이는 표현 효율성을 입증한다.
• 결론 8.2는 두 네트워크의 중간층 간 단일 상호연결만으로도 모델 크기의 제곱수 수준의 격차가 발생함을 보여주며, 이는 혼합 네트워크가 단일 네트워크가 불가능한 실질적인 작업에 대해 실현 가능함을 시사한다.
• 실험적 평가 결과, 네트워크 간 상호연결을 추가함으로써 계산 비용이나 모델 용량을 늘리지 않더라도 정확도 향상이 이루어지며, 이는 표현 효율성 향상의 이론적 성과를 검증한다.
• 프레임워크는 입력 상관 구조에 맞게 층 너비와 풀링 기하학을 설정하기 위한 설계 지침을 제공한다. 이는 아키텍처 선택을 원하는 인덕티브 바이어스와 일치시킨다.
• 분석 결과 깊이와 너비가 낮은 랭크의 텐서 표현을 가능하게 하여 표현 효율성에 기여하며, 겹치는 컨벌루션과 특정 풀링 기하학은 표현 능력을 추가로 향상시킬 수 있음을 드러낸다.