[논문 리뷰] Padding Module: Learning the Padding in Deep Neural Networks

Fahad Alrasheedi, Xin Zhong외 1명|arXiv (Cornell University)|2023. 01. 11.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 딥 뉴럴 네트워크 내 입력 이미지나 특징 맵에 대해 실제 데이터에 따라 적합한 패딩을 학습적으로 생성할 수 있는 훈련 가능한 패딩 모듈을 제안한다. 입력 구조에서 내부의 진짜 값과 예측기를 구성함으로써, 국소적 손실을 통해 자체 파라미터를 최적화함으로써 후속 성능을 향상시킨다. 이는 VGG16과 ResNet50에서 각각 1.23%와 0.44% 높은 정확도를 달성한다.

ABSTRACT

During the last decades, many studies have been dedicated to improving the performance of neural networks, for example, the network architectures, initialization, and activation. However, investigating the importance and effects of learnable padding methods in deep learning remains relatively open. To mitigate the gap, this paper proposes a novel trainable Padding Module that can be placed in a deep learning model. The Padding Module can optimize itself without requiring or influencing the model's entire loss function. To train itself, the Padding Module constructs a ground truth and a predictor from the inputs by leveraging the underlying structure in the input data for supervision. As a result, the Padding Module can learn automatically to pad pixels to the border of its input images or feature maps. The padding contents are realistic extensions to its input data and simultaneously facilitate the deep learning model's downstream task. Experiments have shown that the proposed Padding Module outperforms the state-of-the-art competitors and the baseline methods. For example, the Padding Module has 1.23% and 0.44% more classification accuracy than the zero padding when tested on the VGG16 and ResNet50.

연구 동기 및 목표

• 딥 러닝에서 입력 구조에 따라 최적화할 수 있는 훈련 가능하고 적응 가능한 패딩 방법의 부족을 해결하기 위해.
• 메인 모델의 손실 함수에 의존하거나 간섭하지 않는 자기지도 학습 패딩 메커니즘을 개발하기 위해.
• 입력 경계의 현실적인 연장선을 학습하여 이미지 분류 작업에서 딥 네트워크의 성능을 향상시키기 위해.
• 패딩 모듈을 네트워크 아키텍처 내 다양한 위치에 배치했을 때의 영향을 조사하기 위해.

제안 방법

• 패딩 모듈은 입력의 실제 경계에서 진짜 값을 구성하고, 인접한 영역을 이용해 패딩 값에 대한 예측기를 훈련시킨다.
• 메인 모델의 손실과 별개인 국소적 손실 함수를 사용하여 예측된 패딩 값과 진짜 값 간의 차이를 최소화한다.
• 예측기의 컨볼루션 연산을 통해 패딩을 생성함으로써 backpropagation을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 기울기는 모델을 통해 역전파되지만, 패딩되지 않은 영역에 대해서만 수행되어 이전 레이어로의 흐름을 유지한다.
• 패딩 모듈은 컨볼루션 레이어 이전에 삽입되며, 네트워크의 시작, 중간, 끝 등 여러 위치에 배치될 수 있다.
• 기존 아키텍처인 VGG16과 ResNet50와의 호환성을 고려해 설계되었으며, 아키텍처 변경 없이 즉시 사용 가능한 플러그 앤 플레이 방식이다.

실험 결과

연구 질문

• RQ1 훈련 가능한 패딩 모듈이 모델 성능 향상에 기여하는 현실적이고 데이터 기반의 패딩을 학습적으로 생성할 수 있는가?
• RQ2 이러한 패딩 모듈의 성능은 이미지 분류에서 제로 패딩과 최신 비학습 기반 패딩 방법보다 어떻게 비교되는가?
• RQ3 패딩 모듈을 네트워크 내부의 다양한 위치(예: 초기 레이어 vs. 후기 레이어)에 놓을 경우 그 효과에 차이가 나는가?
• RQ4 메인 모델의 손실 함수와 별개로 훈련되더라도 패딩 모듈이 후속 작업 정확도 향상에 기여할 수 있는가?

주요 결과

• VGG16에서 패딩 모듈은 92.92%의 정확도를 달성하여 제로 패딩(91.43%)보다 1.23% 높은 성능을 보였다.
• ResNet50에서는 95.08%의 정확도를 기록하여 제로 패딩(94.64%)보다 0.44% 높은 성능을 보였다.
• VGG16의 시작, 중간, 끝에 다중 위치에 패딩 모듈을 배치한 결과 92.18%의 정확도를 기록하여 단일 위치 배치보다 뛰어난 성능을 보였다.
• VGG16의 모든 컨볼루션 레이어 이전에 패딩 모듈을 삽입한 경우 92.8%의 정확도를 기록하여 테스트된 모든 구성 중에서 가장 높은 성능을 기록했다.
• 모듈의 추론 시간은 제로 패딩 대비 각 에포크당 두 배로 증가했지만, 이는 뚜렷한 정확도 향상으로 상쇄되었다.
• 제거 실험 결과, 얕은 레이어에 배치할 경우 깊은 레이어에 비해 성능 향상이 더 뚜렷했으며, 이는 초기 특징 보정이 유익하다는 것을 시사한다.