[論文レビュー] Padding Module: Learning the Padding in Deep Neural Networks

Fahad Alrasheedi, Xin Zhong+1 more|arXiv (Cornell University)|Jan 11, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、深層ニューラルネットワーク内の入力画像や特徴マップに対して、現実的でデータ依存のパディングを学習的に生成するトレーナブルなパディングモジュールを提案する。入力構造から内部のアンノテーションと予測子を構築することで、局所的な損失を介して自身のパラメータを最適化し、下流の性能を向上させる。VGG16とResNet50では、ゼロパディングよりもそれぞれ1.23%および0.44%高い精度を達成した。

ABSTRACT

During the last decades, many studies have been dedicated to improving the performance of neural networks, for example, the network architectures, initialization, and activation. However, investigating the importance and effects of learnable padding methods in deep learning remains relatively open. To mitigate the gap, this paper proposes a novel trainable Padding Module that can be placed in a deep learning model. The Padding Module can optimize itself without requiring or influencing the model's entire loss function. To train itself, the Padding Module constructs a ground truth and a predictor from the inputs by leveraging the underlying structure in the input data for supervision. As a result, the Padding Module can learn automatically to pad pixels to the border of its input images or feature maps. The padding contents are realistic extensions to its input data and simultaneously facilitate the deep learning model's downstream task. Experiments have shown that the proposed Padding Module outperforms the state-of-the-art competitors and the baseline methods. For example, the Padding Module has 1.23% and 0.44% more classification accuracy than the zero padding when tested on the VGG16 and ResNet50.

研究の動機と目的

• 入力構造に基づいてパディング内容を最適化できる、トレーナブルで適応的なパディング手法の不足を解消すること。
• 主モデルの損失関数に依存せず、干渉しない自己教師ありパディングメカニズムの開発。
• 入力境界の現実的な拡張を学習することで、画像分類における深層ニューラルネットワークの性能を向上させること。
• ネットワークアーキテクチャ内の異なる位置にパディングモジュールを配置した場合の影響を調査すること。

提案手法

• パディングモジュールは、入力の実際の境界からアンノテーションを構築し、周辺領域を用いてパディング値の予測子を学習する。
• 主モデルの損失とは別個の局所的損失関数を用い、予測されたパディング値とアンノテーションとの差を最小化する。
• 畳み込み演算を予測子に適用してパディングを生成することで、バックプロパゲーションを介したエンドツーエンドの学習を可能にする。
• 勾配はモデル全体を逆伝播するが、パディング領域を除く領域に対してのみ伝播させ、以前の層への勾配フローを保持する。
• 畳み込み層の前に入力され、ネットワーク内の複数の位置（例：ネットワークの開始部、中間部、終了部）に挿入可能である。
• 本手法は、アーキテクチャの変更なしにVGG16やResNet50などの既存アーキテクチャと互換性がある、プラグアンドプレイ型である。

実験結果

リサーチクエスチョン

• RQ1 トレーナブルなパディングモジュールは、モデル性能を向上させる現実的でデータ依存のパディングを学習的に生成できるか？
• RQ2 本手法のパディングモジュールは、ゼロパディングや最先端の非トレーナブルパディング手法と比較して、画像分類においてどれほど優れているか？
• RQ3 ネットワーク内でのパディングモジュールの配置（例：初期層 vs. 後続層）がその有効性に与える影響は何か？
• RQ4 主モデルの損失関数とは独立してトレーニング可能でありながら、下流タスクの精度向上に寄与できるか？

主な発見

• VGG16では92.92%の精度を達成し、ゼロパディングの91.43%を1.23ポイント上回った。
• ResNet50では95.08%の精度を達成し、ゼロパディングの94.64%を0.44ポイント上回った。
• VGG16の開始部、中間部、終了部に複数の位置にパディングモジュールを配置した場合、92.18%の精度を達成し、単一配置の結果を上回った。
• VGG16のすべての畳み込み層の前でパディングモジュールを適用した場合、92.8%の精度を達成し、全テスト設定の中で最高となった。
• パディングモジュールの推論時間はゼロパディングに比べて1エポックあたり2倍となったが、その分顕著な精度向上が得られた。
• アブレーションスタディの結果、浅い層への配置が深い層への配置よりも性能向上に寄与しており、初期段階での特徴の微調整が有益であることが示唆された。