[논문 리뷰] Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks

Adrià Garriga-Alonso, Mark van der Wilk|arXiv (Cornell University)|2021. 01. 11.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 평균 풀링과 같은 아키텍처적 변화에 의존하지 않고, 관련된 가중치 사전분포를 도입하여 무한히 넓은 컨볼루션 신경망에서 공간적 상관관계를 유지하는 방법을 제안한다. 무한한 넓이 근사에서 중간 수준의 가중치 상관관계가 독립적인 가중치와 평균 풀링보다 우수한 성능을 보이며, 국소 연결 구조와 풀링 아키텍처를 연속적인 스펙트럼으로 통합하여 성능을 향상시킨다.

ABSTRACT

Infinite width limits of deep neural networks often have tractable forms. They have been used to analyse the behaviour of finite networks, as well as being useful methods in their own right. When investigating infinitely wide convolutional neural networks (CNNs), it was observed that the correlations arising from spatial weight sharing disappear in the infinite limit. This is undesirable, as spatial correlation is the main motivation behind CNNs. We show that the loss of this property is not a consequence of the infinite limit, but rather of choosing an independent weight prior. Correlating the weights maintains the correlations in the activations. Varying the amount of correlation interpolates between independent-weight limits and mean-pooling. Empirical evaluation of the infinitely wide network shows that optimal performance is achieved between the extremes, indicating that correlations can be useful.

연구 동기 및 목표

• 무한한 넓이 CNN에서 공간적 상관관계의 손실이 무한한 근사의 필수적인 결과인지 여쭙는다.
• 무한한 넓이 CNN에서 공간적 상관관계를 재도입하기 위해 평균 풀링과 같은 아키텍처적 변화가 유일한 방법인지 결정한다.
• 관련된 가중치 사전분포가 아키텍처를 변경하지 않고도 무한한 근사에서 공간적 상관관계를 유지할 수 있는지 탐색한다.
• 실험적으로 중간 수준의 가중치 상관관계가 극단적인 경우(독립적인 가중치 또는 평균 풀링)보다 더 나은 성능을 내는지 평가한다.

제안 방법

• 저자들은 기존의 CNN에 대한 무한한 넓이 근사 프레임워크를 확장하여, 컨볼루션 필터 가중치에 대해 상관관계를 가지는 사전분포를 도입한다.
• 이러한 관련된 가중치 사전분포 하에서 네트워크의 사전분포의 무한한 넓이 근사를 유도하며, 활성화에서의 공간적 상관관계가 유지됨을 보여준다.
• 이 방법은 단일 상관관계 하이퍼파rameter를 통해 독립적인 가중치 사전분포(국소 연결 네트워크)와 평균 풀링 사이의 연속적 보간을 가능하게 한다.
• 이론적 분석은 가중치가 상관관계가 있을 경우 제한 커널이 공간적 상관관계를 유지함을 보이며, 표준 독립적 사전분포 근사와는 다르게 작용함을 밝힌다.
• CIFAR-10과 MNIST에서 정확한 커널 계산을 통해 무한한 넓이 영역에서 다양한 상관관계 수준 간의 성능을 비교하기 위해 실험적 평가를 수행한다.
• 이 접근법은 이산적인 아키텍처 선택(예: 평균 풀링)을 연속적인 하이퍼파ram터로 대체하여 향후 작업에서 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 무한한 넓이 CNN에서 공간적 상관관계의 손실은 무한한 근사의 필수적인 결과일까, 아니면 독립적인 가중치 사전분포 선택 때문일까?
• RQ2 아키텍처를 변경하지 않고도 무한한 넓이 근사에서 활성화의 공간적 상관관계를 유지할 수 있는가?
• RQ3 가중치 간의 연속적인 상관관계 파rameter 도입이 독립적인 가중치 또는 평균 풀링의 극단적 경우보다 더 나은 성능을 낼 수 있는가?
• RQ4 최종 레이어의 평균 풀링과 같은 이산적인 아키텍처 선택이 성능 저하 없이 중간 레이어에서 연속적인 상관관계 파rameter로 대체될 수 있는가?
• RQ5 무한한 네트워크에서의 관련된 가중치 사전분포가 유한한 넓이의 네트워크에서 더 나은 사전분포나 초기화 전략을 설계하는 데 기여할 수 있는가?

주요 결과

• 무한한 넓이 CNN에서 공간적 상관관계의 손실은 무한한 근사 자체의 본질적 특성이 아니라 독립적인 가중치 사전분포를 사용했기 때문에 발생하는 결과이다.
• 관련된 가중치 사전분포를 도입함으로써, 무한한 넓이 근사에서도 활성화에서 공간적 상관관계를 유지할 수 있다.
• 실험 결과, 최적의 성능은 중간 수준의 가중치 상관관계에서 달성되며, 독립적인 가중치와 평균 풀링보다 뛰어나다.
• 최종 레이어의 평균 풀링을 성능 저하 없이 중간 수준의 상관관계로 대체할 수 있으며, 이는 이 방법의 유연성을 보여준다.
• 이 방법은 국소 연결 네트워크와 평균 풀링 아키텍처를 연속적인 스펙트럼으로 통합하며, 중간 상관관계 수준에서 성능이 최고조에 이른다.
• 이 프레임워크는 이산적인 아키텍처 선택 대신 연속적인 하이퍼파ram터 최적화를 가능하게 하여 더 효율적인 아키텍처 탐색의 길을 열어준다.