[논문 리뷰] Finding the Needle in the Haystack with Convolutions: on the benefits of architectural bias

Stéphane d’Ascoli, Levent Sagun외 2명|arXiv (Cornell University)|2019. 06. 16.

Generative Adversarial Networks and Image Synthesis인용 수 24

한 줄 요약

이 논문은 컨volutional 신경망(CNNs)을 그에 해당하는 완전연결신경망(eFCNs)에 통합하는 방법을 제안하여 학습 동역학을 직접 비교할 수 있도록 한다. CNN을 학습한 후 '이완 시간'에 해당하는 시점에서 eFCN 공간으로 통합하고, 이후에도 학습을 계속함으로써 저자들은 해당 eFCN이 원래의 CNN과 표준 FCNs를 모두 능가할 수 있음을 보여주며, 아키텍처의 편향과 향상된 표현력의 조합을 통해 FCN 손실 곡면 내 희귀하고 고일반화 성능을 보이는 영역를 발견한다.

ABSTRACT

Despite the phenomenal success of deep neural networks in a broad range of learning tasks, there is a lack of theory to understand the way they work. In particular, Convolutional Neural Networks (CNNs) are known to perform much better than Fully-Connected Networks (FCNs) on spatially structured data: the architectural structure of CNNs benefits from prior knowledge on the features of the data, for instance their translation invariance. The aim of this work is to understand this fact through the lens of dynamics in the loss landscape. We introduce a method that maps a CNN to its equivalent FCN (denoted as eFCN). Such an embedding enables the comparison of CNN and FCN training dynamics directly in the FCN space. We use this method to test a new training protocol, which consists in training a CNN, embedding it to FCN space at a certain ``relax time'', then resuming the training in FCN space. We observe that for all relax times, the deviation from the CNN subspace is small, and the final performance reached by the eFCN is higher than that reachable by a standard FCN of same architecture. More surprisingly, for some intermediate relax times, the eFCN outperforms the CNN it stemmed, by combining the prior information of the CNN and the expressivity of the FCN in a complementary way. The practical interest of our protocol is limited by the very large size of the highly sparse eFCN. However, it offers interesting insights into the persistence of architectural bias under stochastic gradient dynamics. It shows the existence of some rare basins in the FCN loss landscape associated with very good generalization. These can only be accessed thanks to the CNN prior, which helps navigate the landscape during the early stages of optimization.

연구 동기 및 목표

• 딥 러닝에서 아키텍처 편향과 최적화 편향을 분리하는 것.
• 유사한 능력을 지닌 경우에도 공간적으로 구조화된 데이터에서 CNN이 FCN보다 더 잘 일반화되는 이유를 조사하는 것.
• CNN의 인덕티브 편향이 FCN 손실 곡면 내 보다 우수한 일반화 영역에 접근하는 데 활용될 수 있는지 테스트하는 것.
• 학습 중에 CNN 제약 조건을 이완하는 것이 제약 조건을 전체적으로 유지하는 것보다 더 나은 성능을 낼 수 있는지 탐색하는 것.
• 초기 최적화 동역학이 복잡한 손실 곡면을 탐색하는 데 수행하는 역할을 이해하는 것.

제안 방법

• 저자들은 CNN을 그에 해당하는 완전연결신경망(eFCN)으로 선형 통합하여, 네트워크의 구조는 유지하면서 가중치 공유 및 국소성 제약 조건을 제거한다.
• 일반적으로 CNN을 학습한 후, 선택한 '이완 시간'에 도달했을 때 가중치를 eFCN 공간으로 투영하고 제약 없이 학습을 재개한다.
• eFCN는 이완 시간에 도달한 CNN의 가중치로 초기화되며, 전체 FCN 매개변수 공간에서 학습된다.
• 이 방법을 통해 동일한 매개변수 공간 내에서 CNN과 eFCN의 학습 동역학을 직접 비교할 수 있다.
• 저자들은 eFCN 내에서의 가중치 패턴을 분석하며, 특히 국소성 외부 블록에서의 템플릿 매칭 행동의 발생을 다룬다.
• 실험은 여러 개의 이완 시간을 통해 CIFAR-10에서 이 프rotocol를 적용하여 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CNN의 아키텍처 인덕티브 편향이 FCN 손실 곡면 내 더 나은 일반화 영역으로 최적화를 이끌 수 있는가?
• RQ2 중간 학습 단계에서 CNN 제약 조건을 이완하면, 제약 조건을 전체적으로 유지하는 것보다 성능이 향상되는가?
• RQ3 초기 최적화 동역학이 FCN 매개변수 공간 내 희귀한 고성능 영역에 접근하는 데 수행하는 역할은 무엇인가?
• RQ4 FCN 공간 내 CNN 부분공간 근처에 특정한 성능이 뛰어난 영역가 존재하는가?
• RQ5 CNN 사전 지식과 FCN의 표현력의 조합이 단독으로 각각의 아키텍처를 뛰어넘는 성능 향상을 이끌 수 있는가?

주요 결과

• 모든 테스트된 이완 시간 동안 eFCN는 CNN 부분공간에 가까이 유지되며, 이는 초기 학습 단계 동안 아키텍처 편향이 지속됨을 나타낸다.
• 표준 FCN과 동일한 아키텍처를 가진 eFCN는 더 높은 테스트 정확도를 달성하여 CNN 사전 지식의 이점이 있음을 보여준다.
• 일부 중간 이완 시간에 대해 eFCN는 원래의 CNN을 능가하는 성능을 보이며, CNN의 인덕티브 편향과 FCN의 표현력의 조합이 더 나은 일반화를 이끌 수 있음을 시사한다.
• eFCN는 국소성 외부 가중치 블록에서 날카롭고 이미지 유사한 실루엣을 형성하며, 이는 표준 FCN에서 관찰되지 않는 잠재적 템플릿 매칭 행동의 발생을 나타낸다.
• 이 템플릿 매칭 행동은 복잡한 데이터셋인 CIFAR-10에서 단독으로는 실패하므로, 컨volutional 특징 학습과의 조합이 필수적임을 보여준다.
• CNN 부분공간에서 일정 거리 이상 떨어지면 성능이 표준 FCN 수준으로 악화되며, 이는 CNN 공간 근처에 좁지만 고성능 영역이 존재함을 시사한다.