[논문 리뷰] Towards Learning Convolutions from Scratch

Behnam Neyshabur|arXiv (Cornell University)|2020. 07. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 11

한 줄 요약

이 논문은 최소 기술 길이(MDL)를 지침 원리로 삼아, 완전히 연결된 네트워크가 처음부터 국소적이고 희박한, 합성곱과 유사한 연결 패턴을 학습할 수 있도록 하는 새로운 정규화 방법인 \beta-lasso를 제안한다. \beta-lasso로 훈련된 완전히 연결된 네트워크는 CIFAR-10(85.19%), CIFAR-100(59.56%), SVHN(94.07%)에서 최신 기술(SOTA) 정확도를 달성하며, 가중치 공유나 국소 연결성과 같은 인덕티브 바이어스에 의존하지 않고도 표준 합성곱 네트워크와의 성능 격차를 효과적으로 줄였다.

ABSTRACT

Convolution is one of the most essential components of architectures used in computer vision. As machine learning moves towards reducing the expert bias and learning it from data, a natural next step seems to be learning convolution-like structures from scratch. This, however, has proven elusive. For example, current state-of-the-art architecture search algorithms use convolution as one of the existing modules rather than learning it from data. In an attempt to understand the inductive bias that gives rise to convolutions, we investigate minimum description length as a guiding principle and show that in some settings, it can indeed be indicative of the performance of architectures. To find architectures with small description length, we propose $β$-LASSO, a simple variant of LASSO algorithm that, when applied on fully-connected networks for image classification tasks, learns architectures with local connections and achieves state-of-the-art accuracies for training fully-connected nets on CIFAR-10 (85.19%), CIFAR-100 (59.56%) and SVHN (94.07%) bridging the gap between fully-connected and convolutional nets.

연구 동기 및 목표

• 합성곱에 대한 인덕티브 바이어스—특히 국소 연결성과 가중치 공유—가 아키텍처에 하드코딩되어 있지 않더라도 데이터로부터 학습될 수 있는지 탐구하는 것.
• 최소 기술 길이(MDL) 이론을 통해 핵심 구조적 바이어스를 발견하여 전문가가 설계한 인덕티브 바이어스를 줄이는 것.
• 완전히 연결된 네트워크 아키텍처가 자율적으로 합성곱과 유사한 구조를 학습함으로써 완전히 연결된 네트워크와 합성곱 네트워크 간의 성능 격차를 해소하는 것.
• 데이터로부터 아키텍처 구조(예: 연결 패턴)를 학습하는 방법을 개발하여 효율적이고 국소적이며 희박한 표현의 자동 발견을 가능하게 하는 것.

제안 방법

• 완전히 연결된 레이어의 가중치에서 희박성을 촉진하면서도 국소 연결 패턴을 유지하는 데 초점을 맞춘 라소 정규화의 변종인 \\beta-lasso를 제안한다.
• 최소 기술 길이(MDL)를 이론적 프레임워크로 활용하여 아키텍처 구조 학습을 유도하며, 기술 서술가가 간결한 모델을 선호하도록 한다.
• 이미지 분류 작업에서 완전히 연결된 네트워크를 훈련하는 동안 \beta-lasso를 적용하여, 명시적인 합성곱 인덕티브 바이어스 없이도 희박하고 국소적으로 연결된 필터를 학습하도록 한다.
• 학습된 네트워크를 표준 합성곱 및 국소 연결 기반 베이스라인과 비교하여 학습된 필터의 희박성과 구조적 유사성을 평가한다.
• 비제로 파라미터 수와 필터 패턴의 레이어별 분석을 통해 \beta-lasso가 국소 연결 또는 합성곱 구조와 유사한 아키텍처를 학습하고 있음을 검증한다.
• 다양한 커널 크기를 가진 ResNet18에 \beta-lasso를 확장하여, 최적의 커널 구조를 자동으로 학습할 수 있는 유연성을 입증한다.

실험 결과

연구 질문

• RQ1 합성곱과 유사한 인덕티브 바이어스—예를 들어 국소 연결성과 가중치 공유—가 아키텍처에 하드코딩되어 있지 않더라도 데이터로부터 학습될 수 있는가?
• RQ2 최소 기술 길이(MDL)가 이미지 인식에서 효율적이고 희박하며 국소적인 아키텍처 패턴을 발견하는 데 유효한 인덕티브 바이어스로 기능하는가?
• RQ3 합성곱에 대한 아키텍처 바이어스 없이 \beta-lasso로 훈련된 완전히 연결된 네트워크가 합성곱 네트워크와 유사한 성능을 달성할 수 있는가?
• RQ4 \beta-lasso로 학습된 필터 구조는 표준 합성곱 및 국소 연결 네트워크의 필터 구조와 비교해 볼 때 희박성과 국소성 측면에서 어떻게 다른가?
• RQ5 \beta-lasso는 더 깊은 아키텍처와 다양한 커널 크기에 일반화되어 최적의 구조 패턴을 자동으로 학습할 수 있는가?

주요 결과

• \beta-lasso 방법은 명시적인 인덕티브 바이어스 없이도 국소적으로 연결되고 희박한 필터 패턴을 학습할 수 있도록 완전히 연결된 네트워크를 가능하게 하며, 이는 국소 연결 및 합성곱 네트워크와 유사한 패턴을 매우 잘 모방한다.
• CIFAR-10에서 \beta-lasso로 훈련된 완전히 연결된 네트워크는 상위 1 정확도 85.19%를 달성하여 이전의 완전히 연결된 베이스라인을 초월하고 표준 합성곱 네트워크 성능에 가까워졌다.
• CIFAR-100에서 이 방법은 59.56%의 정확도를 기록하여 이전의 완전히 연결된 접근 방식보다 뚜렷이 뛰어나며 합성곱 모델과의 격차를 좁혔다.
• SVHN에서는 94.07%의 정확도를 달성하여 다양한 이미지 데이터셋에 걸쳐 강력한 일반화 성능을 보였고, 아키텍처 바이어스 없이도 성능이 뛰어났다.
• \beta-lasso로 학습된 필터는 희박하고 국소적으로 연결되어 있으며, 국소 이미지 이웃 영역의 희박한 샘플링 패턴을 띠고 있어 국소성의 효과적인 탐색을 나타낸다.
• \beta-lasso로 훈련된 네트워크의 최종 레이어는 여전히 밀집되어 있지만, 이전 레이어들은 점점 더 희박해지며, 이는 구조적 패턴의 계층적 학습을 시사한다.