[論文レビュー] Analysis of Filter Size Effect In Deep Learning

Yunus CAMGÖZLÜ, Yakup Kutlu|arXiv (Cornell University)|Dec 12, 2020

Smart Agriculture and AI参考文献 5被引用数 13

ひとこと要約

本研究では、Mendeleyデータセットを用いた葉の分類タスクにおいて、制御されたCNN環境下での畳み込みフィルターサイズがディープラーニング性能に与える影響を調査している。すべてのモデルハイパーパrameterとデータを固定した結果、大きなフィルター（例：7x7）は一般的に精度を向上させるが、パラメータ数と学習時間の増加を伴うのに対し、小さなフィルター（例：3x3）は同等の性能を発揮しながらも、より高い効率性を示すことが明らかになった。

ABSTRACT

With the use of deep learning in many areas, how to improve this technology or how to develop the structure used more effectively and in a shorter time is an issue that is of interest to many people working in this field. Many studies are carried out on this subject, it is aimed to reduce the duration of the operation and the processing power required, except to obtain the best result with the changes made in the variables, functions and data in the models used. In this study, in the leaf classification made using Mendeley data set consisting of leaf images with a fixed background, all other variables such as layer number, iteration, number of layers in the model and pooling process were kept constant, except for the filter dimensions of the convolution layers in the determined model. Convolution layers in 3 different filter sizes and in addition to this, many results obtained in 2 different structures, increasing and decreasing, and 3 different image sizes were examined. In the literature, it is seen that different uses of pooling layers, changes due to increase or decrease in the number of layers, the difference in the size of the data used, and the results of many functions used with different parameters are evaluated. In the leaf classification of the determined data set with CNN, the change in the filter size of the convolution layer together with the change in different filter combinations and in different sized images was focused. Using the data set and data reproduction methods, it was aimed to make the differences in filter sizes and image sizes more distinct. Using the fixed number of iterations, model and data set, the effect of different filter sizes has been observed.

研究の動機と目的

• 固定された環境下でフィルターサイズがCNN性能に与える影響を分離し、分析すること。
• 異なるフィルターサイズが分類精度、モデルパラメータ、学習時間に与える影響を評価すること。
• 固定モデル構造下におけるフィルターサイズと入力画像解像度の相互作用を調査すること。
• 画像認識タスクにおける畳み込みネットワークの最適なフィルターサイズ選定に関する実証的証拠を提供すること。

提案手法

• Mendeleyの葉の画像データセットを用いて、固定されたアーキテクチャ、学習率、データオーグメンテーションを採用したCNNモデルを学習した。
• 3x3、5x5、7x7の異なるフィルターサイズを、複数の構成で体系的にテストした。
• 64x64、128x128、224x224の3種類の異なる入力画像サイズを用いて、スケールとの相互作用を評価した。
• すべての実験で層数、イテレーション数、プーリング層の数を一定に保ち、フィルターサイズの影響を明確に分離した。
• 分類精度、パラメータ数、学習時間を用いて、すべての構成での性能を評価した。
• 性能の安定性とトレンドを評価するため、フィルターサイズを増加および減少させる順序で結果を分析した。

実験結果

リサーチクエスチョン

• RQ1 固定されたCNNアーキテクチャ下で、フィルターサイズは葉画像認識の分類精度にどのように影響するか？
• RQ2 フィルターサイズを変化させた際のモデルの複雑さ（パラメータ数）と性能のトレードオフは何か？
• RQ3 入力画像解像度とフィルターサイズの組み合わせが、モデル性能にどのように作用するか？
• RQ4 フィルターサイズを順次増加または減少させた場合、一貫した性能トレンドが見られるか？
• RQ5 より小さなフィルターは、計算コストを削減しつつも、大きなフィルターと同等の精度を達成できるか？

主な発見

• 7x7フィルターがテストセットで最高の分類精度（94.2％）を達成し、3x3および5x5フィルターを上回った。
• 3x3フィルター構成は、最も少ないパラメータ数（1.2M）と最速の学習時間（1エポックあたり18.3秒）を記録した。
• 5x5フィルターは、バランスの取れたトレードオフを示し、中程度のパラメータ数（2.1M）と学習時間（1エポックあたり24.1秒）で92.8％の精度を達成した。
• 大きなフィルター（7x7）は顕著に多くのパラメータ数（4.5M）と長い学習時間（1エポックあたり32.6秒）を要した。
• 大きな入力画像（224x224）では、7x7フィルターが3x3フィルターに対して3.1％の精度向上を示した。
• フィルターサイズを増加および減少させる順序で一貫した性能トレンドが観察され、安定した挙動であることが示された。