[논문 리뷰] Einconv: Exploring Unexplored Tensor Decompositions for Convolutional Neural Networks

Kohei Hayashi, Taiki Yamaguchi외 2명|arXiv (Cornell University)|2019. 08. 13.

Tensor decomposition and applications참고 문헌 39인용 수 7

한 줄 요약

이 논문은 유연한 그래픽 기반 표기법을 사용하여 합성곱 신경망(CNN) 내 탐색되지 않은 텐서 분해법을 체계적으로 탐색하는 Einconv라는 프레임워크를 소개한다. 모든 가능한 분해 모듈—신규 비선형 변형 포함—을 체계적으로 열거하고 평가함으로써, 기존 방법보다 정확도와 효율성의 상호 균형에서 뛰어난 이전에 알려지지 않은 아키텍처를 규명한다.

ABSTRACT

Tensor decomposition methods are widely used for model compression and fast inference in convolutional neural networks (CNNs). Although many decompositions are conceivable, only CP decomposition and a few others have been applied in practice, and no extensive comparisons have been made between available methods. Previous studies have not determined how many decompositions are available, nor which of them is optimal. In this study, we first characterize a decomposition class specific to CNNs by adopting a flexible graphical notation. The class includes such well-known CNN modules as depthwise separable convolution layers and bottleneck layers, but also previously unknown modules with nonlinear activations. We also experimentally compare the tradeoff between prediction accuracy and time/space complexity for modules found by enumerating all possible decompositions, or by using a neural architecture search. We find some nonlinear decompositions outperform existing ones.

연구 동기 및 목표

• CNN 전용으로 알려진 것과 이전에 알려지지 않은 아키텍처를 포함한 텐서 분해법의 포괄적인 클래스를 규명하고 특성화하는 것.
• 모델 정확도, 추론 시간, 파라미터 수 간의 상호 균형을 가능한 모든 분해 모듈 간에 체계적으로 비교하는 것.
• 기존의 CP 및 깊이분리형 합성곱과 같은 방법보다 뛰어난 성능을 보이는 새로운 비선형 분해법이 존재하는지 확인하는 것.
• 신경망 아키텍처 탐색(NAS)을 활용해 고성능 분해 모듈을 탐색할 수 있는지 탐색 가능한지 탐색하는 것.

제안 방법

• 저자들은 CNN에 적용 가능한 모든 가능한 텐서 분해 모듈을 표현하고 열거하기 위해 다용도적인 그래픽 기반 표기법을 정의한다.
• 비선형 활성화를 포함한 유효한 모든 분해 구성표를 체계적으로 생성하고 평가한다.
• 이 프레임워크를 통해 모든 열거된 모듈 간에 정확도, FLOPs, 파라미터 수를 직접 비교할 수 있다.
• 모든 가능한 분해법을 체계적으로 열거하는 것과 고성능 구성표를 탐색하기 위한 신경망 아키텍처 탐색(NAS) 방법을 모두 포함한다.
• 그래픽 기반 표기법은 깊이분리형 합성곱과 버블넥 레이어와 같은 알려진 모듈 뿐 아니라, 새로운 비선형 변형도 포괄한다.

실험 결과

연구 질문

• RQ1 체계적인 그래픽 표현을 사용해 CNN에 대해 얼마나 많은 유효한 텐서 분해 모듈을 구성할 수 있는가?
• RQ2 특히 비선형 모듈 중에서 존재하는 방법들과 비교해 정확도와 효율성의 상호 균형에서 뛰어난 성능을 보이는 분해 모듈은 무엇인가?
• RQ3 정의된 탐색 공간 내에서 신경망 아키텍처 탐색(NAS)이 고성능 분해 모듈을 효과적으로 탐색할 수 있는가?
• RQ4 분해 구성표의 체계적 열거 과정에서 어떤 새로운 아키텍처 패턴이 도출되는가?

주요 결과

• 제안된 그래픽 기반 표기법은 깊이분리형 합성곱과 버블넥 레이어와 같은 알려진 CNN 모듈 뿐 아니라, 이전에 알려지지 않은 비선형 분해 구조도 성공적으로 포괄한다.
• 정확도와 효율성 측면에서 기존의 CP 및 깊이분리형 합성곱보다 뛰어난 성능을 보이는, 이전에 탐색되지 않은 비선형 분해 모듈 여러 개를 발견하였다.
• 체계적 열거 방법을 통해 일반적으로 사용되는 것들 외에도 풍부한 잠재적 분해 모듈 공간을 규명하였다.
• 신경망 아키텍처 탐색(NAS)은 고성능 분해 모듈을 성공적으로 탐색하였으며, 이는 분해 공간 탐색에 있어 그 유용성을 검증한다.