[논문 리뷰] Multi Layer Neural Networks as Replacement for Pooling Operations

Wolfgang Fuhl, Enkelejda Kasneci|arXiv (Cornell University)|2020. 06. 12.

Computational Physics and Python Applications참고 문헌 64인용 수 6

한 줄 요약

이 논문은 합성곱 신경망 내에서 기존의 최대 풀링 또는 평균 풀링을 대체하기 위해 단일 퍼셉트론 또는 浅 다층 신경망을 학습 가능한 풀링 연산으로 사용하는 것을 제안한다. 특징 맵을 퍼셉트론 입력으로 재구성함으로써, 최소한의 파라미터 증가로 경쟁 가능한 정확도를 달성하고, 백프로파게이션을 통한 엔드 투 엔드 학습이 가능해지며, 특히 세그멘테이션 작업에서의 업샘플링에도 적용 가능하다.

ABSTRACT

Pooling operations, which can be calculated at low cost and serve as a linear or nonlinear transfer function for data reduction, are found in almost every modern neural network. Countless modern approaches have already tackled replacing the common maximum value selection and mean value operations, not to mention providing a function that allows different functions to be selected through changing parameters. Additional neural networks are used to estimate the parameters of these pooling functions.Consequently, pooling layers may require supplementary parameters to increase the complexity of the whole model. In this work, we show that one perceptron can already be used effectively as a pooling operation without increasing the complexity of the model. This kind of pooling allows for the integration of multi-layer neural networks directly into a model as a pooling operation by restructuring the data and, as a result, learnin complex pooling operations. We compare our approach to tensor convolution with strides as a pooling operation and show that our approach is both effective and reduces complexity. The restructuring of the data in combination with multiple perceptrons allows for our approach to be used for upscaling, which can then be utilized for transposed convolutions in semantic segmentation.

연구 동기 및 목표

• 고정된 풀링 연산(예: 최대, 평균)의 한계를 해결하기 위해 입력 데이터나 작업에 특화된 패턴에 적응하지 못하는 점을 해결한다.
• 기존의 풀링을 학습 가능한 파라미터화된 연산으로 대체함으로써 모델 복잡도를 줄이고 성능을 향상시킨다.
• 간단한 신경망이 계산 오버헤드를 증가시키지 않으면서도 풀링 레이어의 효과적인 저복잡도 대체재로 기능할 수 있는지 탐색한다.
• 보조 브랜치 없이도 풀링 연산 자체를 네트워크 아키텍처에 직접 통합함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 역설 변환(convolution)과 세그멘테이션에서의 업샘플링 작업에 응용하기 위해 동일한 신경망 기반 풀링 메커니즘을 업샘플링 연산으로 확장한다.

제안 방법

• 표준 풀링 레이어를 대체하기 위해 특징 맵 활성화를 1차원 벡터로 재구성하여 단일 퍼셉트론 또는 얕은 다층 네트워크에 입력한다.
• 학습 가능한 가중치와 편향을 갖춘 퍼셉트론을 사용하여 기울기 전파가 가능한 파라미터화된 풀링 함수를 정의한다. 이는 엔드 투 엔드 학습이 가능하다.
• 특징 맵으로부터 복잡한 비선형 풀링 함수를 학습하기 위해 다층 퍼셉트론(예: 4-1 또는 4-16-1)을 구성한다.
• 데이터 재구성 기반으로 동일한 신경망 아키텍처를 내림샘플링(풀링) 및 올림샘플링(역설 변환) 연산에 모두 적용한다.
• 백프로파게이션을 사용하여 전체 모델을 엔드 투 엔드로 학습시키며, 풀링 연산의 파라미터를 다른 네트워크 가중치와 함께 동시에 갱신한다.
• 비교를 위해 스트라이드 컨벌루션을 베이스라인으로 사용하며, 제안된 방법이 더 적은 파라미터로 유사하거나 더 우수한 성능을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 단일 퍼셉트론이 모델 복잡도를 증가시키지 않으면서도 최대 풀링이나 평균 풀링과 같은 기존 풀링 연산을 효과적으로 대체할 수 있는가?
• RQ2 학습 가능한 퍼셉트론 기반 풀링 레이어의 성능은 이미지 분류 작업에서 고정 풀링과 스트라이드 컨벌루션 풀링과 비교해 어떻게 되는가?
• RQ3 다층 퍼셉트론을 사용하여 복잡한 비선형 특징 감소 패턴을 학습하는 데 풀링 연산으로 활용할 수 있는가?
• RQ4 동일한 신경망 기반 풀링 메커니즘이 세그멘테이션 아키텍처에서의 업샘플링 연산에 효과적으로 적용될 수 있는가?
• RQ5 메인 네트워크 경로에 학습 가능한 풀링 레이어를 통합함으로써 정확도는 향상시키면서도 계산 효율성은 유지할 수 있는가?

주요 결과

• CIFAR10 데이터셋에서 그림 2의 모델 c)을 사용한 네 번의 실험 중 세 번에서 퍼셉트론 기반 풀링이 최대 풀링 및 평균 풀링을 모두 앞섰다.
• NN-4-1(은닉층에 4개의 퍼셉트론, 출력층에 1개)은 CIFAR10에서 테스트된 모든 풀링 방법 중에서 가장 뛰어난 전체 성능을 기록했으며, 스트라이드 컨벌루션 풀링과 유사한 성능을 보였다.
• 도전적인 VOC2012 세그멘테이션 데이터셋에서 표준 풀링 및 업샘플링 레이어를 퍼셉트론 기반 연산으로 대체함으로써 세그멘테이션 정확도가 향상되었다.
• 더 적은 파라미터를 도입하면서도 스트라이드 컨벌루션과 경쟁 가능한 성능를 달성했으며, O(n) 계산 복잡도를 유지했다.
• 학습 과정에서 안정적이며, 불안정성이 발생할 경우 학습률을 낮춤으로써 효과적으로 최적화할 수 있었다.
• 풀링에 사용된 동일한 신경망 아키텍처를 데이터 재구성만으로 업샘플링에 재사용할 수 있어, 효과적인 역설 변환 학습이 가능했다.