[논문 리뷰] Learning across scales - A multiscale method for Convolution Neural Networks

Eldad Haber, Lars Ruthotto외 2명|arXiv (Cornell University)|2017. 03. 06.

Seismic Imaging and Inversion Techniques참고 문헌 12인용 수 25

한 줄 요약

이 논문은 시간에 따라 변화하는 비선형 미분방정식에 의해 지배되는 최적 제어 문제로 컨volutional 신경망(CNNs)을 해석하는 다중스케일 딥 러닝 프레임워크를 제안한다. 이 연속적 해석을 바탕으로 저자들은 두 가지 새로운 방법을 개발한다: 하나는 대수적 멀티그리드 기반 커널 연장 기법을 사용한 크로스해상도 학습이고, 다른 하나는 점진적인 네트워크 깊이 초기화를 통한 깊이 스케일링이며, 이는 모두 학습 시간을 단축시키고 이미지 분류 벤치마크에서 일반화 성능을 향상시킨다.

ABSTRACT

In this work we establish the relation between optimal control and training deep Convolution Neural Networks (CNNs). We show that the forward propagation in CNNs can be interpreted as a time-dependent nonlinear differential equation and learning as controlling the parameters of the differential equation such that the network approximates the data-label relation for given training data. Using this continuous interpretation we derive two new methods to scale CNNs with respect to two different dimensions. The first class of multiscale methods connects low-resolution and high-resolution data through prolongation and restriction of CNN parameters. We demonstrate that this enables classifying high-resolution images using CNNs trained with low-resolution images and vice versa and warm-starting the learning process. The second class of multiscale methods connects shallow and deep networks and leads to new training strategies that gradually increase the depths of the CNN while re-using parameters for initializations.

연구 동기 및 목표

• 이미지 해상도와 네트워크 깊이에 걸쳐 체계적으로 스케일링할 수 있도록, 딥 CNNs를 연속적이고 최적 제어 기반의 해석으로 설정하는 것.
• 다른 이미지 해상도나 깊이로 CNNs를 재학습할 때 높은 계산 비용과 열악한 일반화 성능 문제를 해결하는 것.
• 각 스케일 간에 파라미터를 재사용할 수 있는 확장 가능한 학습 전략을 개발하여, 비용이 많이 드는 완전한 재학습의 필요성을 줄이는 것.
• 이미지 분류 작업에서 수렴 시간을 단축하고 모델 정확도를 향상시키기 위해 다중스케일 학습의 효과성을 입증하는 것.

제안 방법

• 레즈넷 유사 아키텍처에서의 전방전파를 시간 이산화된 비선형 상미분방정식(OED)으로 해석하며, 레이어가 시간 단위에 해당함.
• 학습 과정을 ODE의 파라미터(예: 컨볼루션 커널 가중치)에 대한 최적 제어 문제로 공식화하여 연속 최적화 및 스케일링을 가능하게 함.
• 粗모형과 세밀모형 해상도 간의 일관된 컨볼루션 연산자를 계산하기 위해 대수적 멀티그리드(AMG) 기법을 도입하여 이미지 인터폴레이션을 피함.
• 저해상도 네트워크의 가중치를 연장하여 고해상도 네트워크를 초기화하는 코arse-to-fine 학습 전략을 도입하여 수렴 속도 향상.
• 점진적으로 학습된 얕은 네트워크에서 파라미터를 연장하여 깊은 네트워크를 초기화하는 깊이 스케일링 방법을 제안.
• 조기 정지와 검증 지표를 사용하여 ImageNet-10 및 CIFAR-10 데이터셋에서 표준 학습과 다중스케일 학습 프rotocol 간의 학습 동역학을 비교함.

실험 결과

연구 질문

• RQ1 딥 CNNs의 전방전파를 비선형 ODE에 의해 지배되는 연속적 최적 제어 문제로 의미적으로 해석할 수 있는가?
• RQ2 입력 데이터를 인터폴레이션하지 않고도 이미지 해상도 간에 다중스케일 파라미터 전달을 어떻게 달성할 수 있는가?
• RQ3 점진적으로 학습된 얕은 네트워크에서 파생된 가중치로 깊은 네트워크를 초기화함으로써 학습 효율성과 수렴 속도를 향상시킬 수 있는가?
• RQ4 제안된 다중스케일 프레임워크가 이미지 분류 벤치마크에서 학습 시간을 얼마나 줄이고 일반화 성능을 향상시키는가?
• RQ5 AMG 기반 커널 연장이 거친 해상도에서 세밀한 해상도로 모델을 전이할 때 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 코어-투-파인 학습 전략을 사용한 다중스케일 접근법은 고해상도 이미지에 직접 학습하는 것보다 수렴에 필요한 에포크 수를 줄였다.
• 순차적 학습 과정임에도 불구하고, 다중스케일 방법은 각 해상도에서 독립적으로 학습하는 것보다 총 학습 시간이 짧았다.
• 다섯 개의 랜덤 트레이닝-테스트 데이터 분할에 걸쳐, $224 \times 224$ 이미지에서 표준 학습보다 다중스케일 방법이 더 낮은 학습 및 검증 오차를 달성했다.
• 고해상도 이미지에서 학습된 CNNs는 인터폴레이션 없이도 저해상도 이미지를 분류할 수 있었고, 반대로 저해상도 이미지에서 학습된 모델도 고해상도 이미지를 분류할 수 있었다. 이는 일관된 파라미터 스케일링 덕분이었다.
• 깊이 스케일링 전략을 통해 점진적으로 학습된 얕은 네트워크에서 유도된 가중치로 깊은 네트워크를 초기화함으로써 깊은 네트워크의 수렴 속도가 빨라졌다.
• 대수적 멀티그리드 기반 커널 연장 기법은 스케일 간 일관된 특징 학습을 보장하여, 단순한 인터폴레이션 기반 접근법보다 뛰어난 성능을 보였다.