[논문 리뷰] Computational Separation Between Convolutional and Fully-Connected Networks

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|2020. 10. 03.

Advanced Neural Network Applications참고 문헌 35인용 수 11

한 줄 요약

이 논문은 경량화된 입력 비트 수에 의존하는 강한 局소적 구조를 가진 함수를 효율적으로 학습할 수 있다는 점에서, 경사하강법을 사용할 때, 완전히 연결된 신경망(FCNs)은 실패하는 반면, 컨volutional 신경망(CNNs)은 이를 효율적으로 학습할 수 있음을 보여줌으로써, CNNs와 FCNs 사이의 계산적 분리(computational separation)를 확립한다. 핵심 결과는 CNNs의 국소성에 대한 인덕티브 바이어스가, 단지 매개변수 효율성이나 가중치 공유 때문이 아니라, 계산적 우월성을 가져오는 이론적 증명이다.

ABSTRACT

Convolutional neural networks (CNN) exhibit unmatched performance in a multitude of computer vision tasks. However, the advantage of using convolutional networks over fully-connected networks is not understood from a theoretical perspective. In this work, we show how convolutional networks can leverage locality in the data, and thus achieve a computational advantage over fully-connected networks. Specifically, we show a class of problems that can be efficiently solved using convolutional networks trained with gradient-descent, but at the same time is hard to learn using a polynomial-size fully-connected network.

연구 동기 및 목표

• 완전히 연결된 신경망(FCNs)이 더 높은 표현 능력을 지니고 있음에도 불구하고, 컴퓨터 비전 작업에서 CNNs가 FCNs보다 뛰어난 성능을 보이는 이유를 이론적으로 설명하는 것.
• 국소적 데이터 구조—특히 연속된 입력 비트에 의존하는 함수—가 CNNs의 뛰어난 성능을 가능하게 하는 주요 요인임을 분리하고 증명하는 것.
• 두 네트워크 모두 다항 크기일 때, 국소적으로 구조화된 함수를 학습하는 동안 CNNs와 FCNs 사이에 계산적 격차가 존재함을 보여주는 것.
• 입력 길이와 국소적 구조 설정이 다양한 MNIST 기반의 시퀀스 작업을 통해 이론적 결과를 실증적으로 검증하는 것.

제안 방법

• 강한 국소적 구조를 모델링하기 위해, 출력이 입력의 k개 연속 비트에만 의존하는 함수의 집합인 k-patterns를 도입한다.
• 다항 크기의 CNN이 경사하강법을 사용해 (log n)-patterns을 다항 시간 내에 학습할 수 있음을 증명한다.
• 다항 크기의 FCN은 (log n)-patterns을 경사하강법을 통해 학습할 수 없음을 보여주며, 계산적 분리를 확립한다.
• 경사하강법의 동역학과 일반화 오차를 분석하기 위해, 순열 불변성과 오р토곤럴 기저 분해(파르세발 항등식을 통해)를 사용한다.
• 입력 이동에 따른 경사 업데이트 영향을 제한하기 위해, 랜덤 순열에 대한 분포적 추론을 사용한다.
• 중앙 또는 비연속적인 숫자의 파리티에 따라 레이블이 결정되는 MNIST 시퀀스에서 FCN, CNN, 국소 연결 네트워크(LCNs)를 비교하여 실증 평가를 수행한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 작업에서 CNNs가 실험적으로 FCNs를 능가하는 이유를 설명하는, CNNs와 FCNs 사이의 계산적 분리를 확립할 수 있는가?
• RQ2 CNNs의 우월성은 매개변수 효율성, 가중치 공유, 또는 데이터의 국소성에 대한 인덕티브 바이어스 때문인가?
• RQ3 CNNs는 경사하강법을 사용해 강한 국소적 구조를 가진 함수(예: 연속된 입력 비트에 의존하는 함수)를 효율적으로 학습할 수 있는가, 반면 FCNs는 그렇지 못한가?
• RQ4 국소적 구조를 파괴함(예: 비연속적인 비트 사용)하면, CNNs가 FCNs를 능가하는 성능 우위를 잃는가?

주요 결과

• 계산적 분리가 입증됨: CNNs는 경사하강법을 사용해 (log n)-patterns을 다항 시간 내에 학습할 수 있지만, 다항 크기의 FCNs는 이를 실패한다.
• 입력 길이가 증가함에 따라 FCNs의 성능은 국소 패턴 학습에서 크게 떨어지며, 실험에서 n=19에 도달할 무렵 우연한 예측 수준에 도달한다.
• 레이블이 연속된 비트에 의존할 경우, CNNs와 LCNs는 입력 길이에 관계없이 높은 정확도를 유지하며, 국소성의 역할을 확인한다.
• 레이블이 비연속적인 숫자에 의존할 경우(국소성 파괴), 작은 n에 대해 FCNs가 CNNs와 LCNs를 능가하며, 국소성 없이선 성능 우위가 사라짐을 보여준다.
• 실증 결과는 이론적 우위가 CNNs의 국소성에 대한 인덕티브 바이어스 때문이며, 가중치 공유나 매개변수 효율성 때문이 아니라는 것을 확인한다.
• 이론적 분석은, 과다 매개변수화된 경우에도, FCNs에서 (log n)-patterns을 학습할 수 없음을 보여주며, 경사하강법이 국소성에 대한 인덕티브 바이어스가 없기 때문임을 밝힌다.