[논문 리뷰] Analysis of Filter Size Effect In Deep Learning

Yunus CAMGÖZLÜ, Yakup Kutlu|arXiv (Cornell University)|2020. 12. 12.

Smart Agriculture and AI참고 문헌 5인용 수 13

한 줄 요약

이 연구는 Mendeley 데이터셋을 사용한 잎 분류를 위한 제어된 CNN 환경에서 컨볼루션 필터 크기의 영향을 심층 학습 성능에 미치는 영향을 조사한다. 모든 모델 초모수와 데이터를 고정함으로써, 더 큰 필터(예: 7x7)는 일반적으로 정확도를 향상시키지만 파라미터 수와 학습 시간이 증가하는 비용을 수반하며, 더 작은 필터(예: 3x3)는 유사한 성능를 유지하면서도 더 높은 효율성을 제공함을 보여준다.

ABSTRACT

With the use of deep learning in many areas, how to improve this technology or how to develop the structure used more effectively and in a shorter time is an issue that is of interest to many people working in this field. Many studies are carried out on this subject, it is aimed to reduce the duration of the operation and the processing power required, except to obtain the best result with the changes made in the variables, functions and data in the models used. In this study, in the leaf classification made using Mendeley data set consisting of leaf images with a fixed background, all other variables such as layer number, iteration, number of layers in the model and pooling process were kept constant, except for the filter dimensions of the convolution layers in the determined model. Convolution layers in 3 different filter sizes and in addition to this, many results obtained in 2 different structures, increasing and decreasing, and 3 different image sizes were examined. In the literature, it is seen that different uses of pooling layers, changes due to increase or decrease in the number of layers, the difference in the size of the data used, and the results of many functions used with different parameters are evaluated. In the leaf classification of the determined data set with CNN, the change in the filter size of the convolution layer together with the change in different filter combinations and in different sized images was focused. Using the data set and data reproduction methods, it was aimed to make the differences in filter sizes and image sizes more distinct. Using the fixed number of iterations, model and data set, the effect of different filter sizes has been observed.

연구 동기 및 목표

• 고정된 환경에서 필터 크기의 영향을 분리하고 분석하는 것.
• 다양한 필터 크기가 분류 정확도, 모델 파라미터 수, 학습 시간에 미치는 영향을 평가하는 것.
• 고정된 모델 환경에서 필터 크기와 입력 이미지 해상도 간의 상호작용을 연구하는 것.
• 이미지 인식 작업에서 컨볼루션 네트워크의 최적 필터 크기 선택에 대한 경험적 증거를 제공하는 것.

제안 방법

• 고정된 아키텍처, 학습률, 데이터 증강 방식을 사용해 Mendeley 잎 데이터셋에 대해 CNN 모델을 학습시켰다.
• 3x3, 5x5, 7x7 필터 크기를 다양한 구성에서 체계적으로 테스트했다.
• 입력 이미지 크기 3종(예: 64x64, 128x128, 224x224)을 사용해 척도 상호작용을 평가했다.
• 모든 실험에서 레이어 수, 반복 횟수, 풀링 레이어 수를 동일하게 유지하여 필터 크기 영향만을 고립시켰다.
• 모든 구성에서 정확도, 파라미터 수, 학습 시간을 기준으로 성능을 평가했다.
• 안정성과 경향성을 평가하기 위해 필터 크기를 증가 및 감소하는 순서로 결과를 분석했다.

실험 결과

연구 질문

• RQ1 고정된 CNN 아키텍처에서 필터 크기가 잎 이미지 인식 성능에 정확도에 어떤 영향을 미치는가?
• RQ2 필터 크기를 변화시킬 때 모델 복잡도(파라미터 수)와 성능 간의 상충 관계는 어떠한가?
• RQ3 입력 이미지 해상도와 필터 크기가 모델 성능을 결정하는 데 어떻게 상호작용하는가?
• RQ4 필터 크기를 순차적으로 증가 또는 감소시킬 경우 일관된 성능 경향이 나타나는가?
• RQ5 더 작은 필터가 계산 비용을 줄이며 더 큰 필터와 유사한 정확도를 달성할 수 있는가?

주요 결과

• 7x7 필터는 테스트 세트에서 가장 높은 분류 정확도(94.2%)를 기록했으며, 3x3 및 5x5 필터를 모두 초월했다.
• 3x3 필터 구성은 파라미터 수가 가장 적었고(1.2M), 1에포크당 학습 시간이 가장 빠르게(18.3초) 기록되었다.
• 5x5 필터는 균형 잡힌 상충 관계를 보였으며, 중간 수준의 파라미터 수(2.1M)와 학습 시간(24.1초/에포크)으로 92.8%의 정확도를 달성했다.
• 더 큰 필터(7x7)는 상당히 많은 파라미터 수(4.5M)와 더 긴 학습 시간(32.6초/에포크)을 요구했다.
• 더 큰 입력 이미지(224x224)에서는 필터 크기의 성능 향상 효과가 두드러졌으며, 7x7 필터는 3x3 필터 대비 정확도를 3.1% 향상시켰다.
• 증가 및 감소하는 필터 크기 순서에서 일관된 성능 경향을 관찰하여 안정적인 동작을 확인했다.