[논문 리뷰] Deep Convolutional Neural Networks with Zero-Padding: Feature Extraction and Learning

Zhi Han, Baichen Liu외 2명|arXiv (Cornell University)|2023. 07. 30.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 제로패딩을 갖는 딥 컨volution 신경망(eDCNN)이 완전연결망(DFCN)과 패딩이 없는 컨volution 신경망(cDCNN)보다 특징 추출에서 번역-등가성(translation-equivalence)을 내재적으로 인코딩하고 보편적 근사(universal approximation)를 가능하게 하여 뛰어난 성능을 보임을 보여준다. 이론적 분석과 실험을 통해 eDCNN은 WISDM 및 심전도(ECG) 데이터를 포함한 다양한 데이터셋에서 풀링을 통한 일반화 및 불변성 성질에서 뛰어난 성능을 보임을 확인하였다.

ABSTRACT

This paper studies the performance of deep convolutional neural networks (DCNNs) with zero-padding in feature extraction and learning. After verifying the roles of zero-padding in enabling translation-equivalence, and pooling in its translation-invariance driven nature, we show that with similar number of free parameters, any deep fully connected networks (DFCNs) can be represented by DCNNs with zero-padding. This demonstrates that DCNNs with zero-padding is essentially better than DFCNs in feature extraction. Consequently, we derive universal consistency of DCNNs with zero-padding and show its translation-invariance in the learning process. All our theoretical results are verified by numerical experiments including both toy simulations and real-data running.

연구 동기 및 목표

• 구조적 네트워크인 제로패딩이 있는 DCNN가 완전연결망보다 뛰어나게 되는 이유를 이론적 분석과 실용적 설계 간 격차를 해소하기 위해 명확히 하기 위해.
• DFCN에 의존하지 않고도 제로패딩이 eDCNN이 보편적 근사를 달성하고 번역-등가성을 실현할 수 있음을 입증하기 위해.
• cDCNN가 특징 폭을 수축시켜 가장자리 정보를 손실한다는 한계를 제로패딩을 통해 특징의 보편성을 유지함으로써 극복함으로써 eDCNN이 특징 보편성의 유지에 기여함을 보여주기 위해.
• 시간적·공간적 불변성을 포함한 학습 과제에서 eDCNN의 뛰어난 성능에 대한 이론적 일관성과 실증적 검증을 제공하기 위해.
• 이론적 및 실험적 증거를 바탕으로 특정 학습 과제에 최적의 구성(제로패딩, 풀링, 깊이)을 식별하여 네트워크 설계를 안내하기 위해.

제안 방법

• cDCNN의 수축적 행동을 보완하기 위해 제로패딩을 적용한 eDCNN(확장된 DCNN)을 제안하여 특징 폭 유지와 보편적 특징 추출을 가능하게 한다.
• 이론적으로 동일한 파라미터 수를 갖는 임의의 DFCN이 eDCNN에 의해 표현될 수 있음을 증명함으로써, eDCNN이 특징 표현에서 구조적 우월성을 지님을 보여준다.
• 제로패딩(번역-등가성 유도), 풀링(번역-불변성 유도), 바이어스 벡터의 역할을 분석하여 학습 성능 향상에 기여하는 요소를 규명한다.
• eDCNN의 보편적 일관성(universal consistency)을 유도하여 적절한 네트워크 깊이와 구조 하에서 학습 수렴을 보여준다.
• Adam 옵timizer, 배치 크기 512, 깊이 1–10를 다양하게 설정하여 WISDM 및 ECG 데이터셋에서 eDCNN, cDCNN, DFCN, 하이브리드 모델 간의 성능을 비교하기 위한 수치 실험을 수행한다.
• eDCNN+pl 구성에서 컨볼루션 레이어 이후 커널 크기 2의 맥스 풀링을 적용하여 불변성과 성능 향상을 강화한다.

Figure 1: The steps of feature extraction of classical machine learning and deep learning.

실험 결과

연구 질문

• RQ1 DCNN에서 제로패딩이 완전연결망과 비교해 특징 추출 및 번역-등가성에 미치는 영향은 무엇인가?
• RQ2 eDCNN가 제로패딩을 통해 DFCN가 근사할 수 있는 임의의 함수를 보편적으로 근사할 수 있으며, 동시에 구조적 불변성을 유지할 수 있는가?
• RQ3 풀링이 eDCNN에서 번역-불변성을 유도하는 데 어떤 역할을 하는가? 그리고 학습 성능에 어떤 영향을 미치는가?
• RQ4 eDCNN은 ECG 및 WISDM 데이터셋과 같은 시간적 데이터에서 cDCNN 및 DFCN과 비교해 특징을 어떻게 추출하는가?
• RQ5 깊이, 풀링, 제로패딩 등의 네트워크 구성 요소 중 어떤 조합이 실제 학습 과제에서 최적의 일반화 및 정확도를 달성하는가?

주요 결과

• 제로패딩을 갖는 eDCNN는 보편적 근사를 달성할 수 있으며, 유사한 파라미터 수를 갖는 임의의 DFCN를 표현할 수 있어 특징 추출에서의 구조적 우월성을 입증한다.
• eDCNN는 cDCNN가 특징 폭을 수축시켜 가장자리 기반 특징을 추출하지 못함으로써 보편성이 제한되는 것과 달리, 레이어 간 특징 폭을 유지한다.
• WISDM 데이터셋에서 'eDCNN+pl'은 모든 깊이(1–10)에서 가장 높은 테스트 정확도를 기록했으며, 시간적 구조를 유지함으로써 DFCN 및 'cDCNN+fc'를 능가했다.
• MIT-BIH Arrhythmia 데이터셋에서 'eDCNN+pl'은 가장 높고 안정된 테스트 정확도를 기록하여 깊이 변화에 대한 강건성과 강력한 불변성 학습 능력을 입증했다.
• cDCNN 및 'cDCNN+fc'는 제로패딩이 없어 가장자리 정보 손실가능성이 높고, 특히 바이어스를 사용하지 않을 경우 성능이 열 劣하다.
• PTB ECG 데이터셋에서는 DFCN가 떨어진 성능을 보였지만, eDCNN 및 그 변종은 높고 일관된 정확도를 기록하여 eDCNN이 복잡한 신호 학습에 적합함을 시사했다.

Figure 2: Three challenged gaps between the established theoretical results and desired running mechanisms of deep learning.