[論文レビュー] Testing the Efficient Network TRaining (ENTR) Hypothesis: initially reducing training image size makes Convolutional Neural Network training for image recognition tasks more efficient

Thomas Cherico Wanger, Peter Frohn-Sörensen|arXiv (Cornell University)|Jul 30, 2018

Advanced Neural Network Applications参考文献 19被引用数 3

ひとこと要約

この論文は、効率的ネットワーク学習（ENTR）仮説を検証し、畳み込みニューラルネットワーク（CNNs）を初期段階で小さな画像で学習し、徐々にサイズを大きくすることで、学習の効率が向上することを提案している。ResNetモデルを用いた3つの小さなデータセットにおける実験では、一貫した精度の向上と推論時間の短縮が確認され、これは初期の小規模な学習による暗黙の正則化に起因する。

ABSTRACT

Convolutional Neural Networks (CNN) for image recognition tasks are seeing rapid advances in the available architectures and how networks are trained based on large computational infrastructure and standard datasets with millions of images. In contrast, performance and time constraints for example, of small devices and free cloud GPUs necessitate efficient network training (i.e., highest accuracy in the shortest inference time possible), often on small datasets. Here, we hypothesize that initially decreasing image size during training makes the training process more efficient, because pre-shaping weights with small images and later utilizing these weights with larger images reduces initial network parameters and total inference time. We test this Efficient Network TRaining (ENTR) Hypothesis by training pre-trained Residual Network (ResNet) models (ResNet18, 34, & 50) on three small datasets (steel microstructures, bee images, and geographic aerial images) with a free cloud GPU. Based on three training regimes of i) not, ii) gradually or iii) in one step increasing image size over the training process, we show that initially reducing image size increases training efficiency consistently across datasets and networks. We interpret these results mechanistically in the framework of regularization theory. Support for the ENTR hypothesis is an important contribution, because network efficiency improvements for image recognition tasks are needed for practical applications. In the future, it will be exciting to see how the ENTR hypothesis holds for large standard datasets like ImageNet or CIFAR, to better understand the underlying mechanisms, and how these results compare to other fields such as structural learning.

研究の動機と目的

• 初期の学習画像サイズを小さくすることで、画像認識タスクにおける学習の効率が向上するかどうかを調査すること。
• 多様な小さなデータセットにおける画像サイズスケジューリングの影響を、モデルの精度と推論時間の観点から評価すること。
• 正則化理論を通じて、効率の向上の背後にあるメカニズム的根拠を明らかにすること。
• リソース制約のある環境（たとえば、小型デバイスや無料のクラウドGPU）におけるENTRの実現可能性と利点を評価すること。
• 標準の大規模データセットとは限らない、実証的検証を、大規模データセットにとどまらず、ENTR仮説の妥当性を裏付けること。

提案手法

• スチール微細組織、ハチの画像、空中地理空間画像の3つの小さなデータセットに対して、事前学習済みのResNet18、ResNet34、ResNet50モデルを訓練すること。
• 3つの訓練レジームを実装：(i) サイズに変更なし、(ii) 画像サイズを徐々に増加、(iii) 小さなサイズから一気に大きなサイズに変更。
• リソース制約のある学習条件を模擬するために、Google Colaboratoryの無料クラウドGPUを使用すること。
• 精度、収束速度、総合推論時間の観点から、学習の効率を測定すること。
• 観察された向上を説明するために、正則化理論の視点から結果を分析すること。
• 異なる画像サイズスケジュールの間で性能を比較し、初期の小規模な学習の影響を明確にすること。

実験結果

リサーチクエスチョン

• RQ1 初期に小さな画像でCNNを学習させることで、精度と推論時間の観点から、学習がより効率的になるのか？
• RQ2 画像サイズスケジューリング戦略（徐々に増加 vs. 一気に増加）は、モデルの収束と性能にどのように影響するか？
• RQ3 ENTR手法による観察された効率の向上を説明する背後にあるメカニズムは何か？
• RQ4 材料科学、地球科学、環境科学の分野における多様な小さなデータセットにおいて、ENTR仮説はどのように機能するか？
• RQ5 今後、ImageNet や CIFAR のような標準的なデータセットに対しても、ENTRアプローチは一般化可能か？

主な発見

• 初期に小さな画像で学習し、その後画像サイズを大きくするENTRアプローチは、すべてのテストされたResNetアーキテクチャとデータセットにおいて、一貫して学習の効率を向上させた。
• 初期に小さな画像サイズで学習したモデルは、フルサイズでの学習と比較して、顕著に短い推論時間で高い精度を達成した。
• 徐々に画像サイズを増加させる戦略が、一気に増加させる戦略を上回り、滑らかな最適化軌道が得られた。
• 向上は、初期の小規模な学習による暗黙の正則化に起因するとされ、学習の安定化と過学習の低減に寄与した。
• 無料のクラウドGPUでも効果的であることが示され、低リソース環境における実用的妥当性が裏付けられた。
• 初期の小さな画像での学習が、一般化と効率を向上させるインダクティブバイアスの一種であるという仮説を支持する結果となった。