[論文レビュー] Partial Convolution based Padding

Guilin Liu, Kevin J. Shih+6 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Neural Network Applications参考文献 2被引用数 75

ひとこと要約

論文は、欠損データをホールとして扱い、欠落データを考慮して畳み込み出力を再ウェイト付けするドロップイン padding スキームである部分畳み込みベースの padding を提案し、ImageNet の精度と境界領域のセグメンテーション安定性を向上させる。

ABSTRACT

In this paper, we present a simple yet effective padding scheme that can be used as a drop-in module for existing convolutional neural networks. We call it partial convolution based padding, with the intuition that the padded region can be treated as holes and the original input as non-holes. Specifically, during the convolution operation, the convolution results are re-weighted near image borders based on the ratios between the padded area and the convolution sliding window area. Extensive experiments with various deep network models on ImageNet classification and semantic segmentation demonstrate that the proposed padding scheme consistently outperforms standard zero padding with better accuracy.

研究の動機と目的

• 標準的なパディング方式（ゼロ、反射、リプリケーション）を画像の境界で動機づけ、欠点に対処する。
• 部分畳み込みの概念を活用して、有効な入力のみで畳み込み出力を条件付けるパディング手法を提案する。
• 提案パディングが ImageNet の複数の CNN アーキテクチャで精度と収束を向上させることを示す。
• 推論時のパディングタイプに対する頑健性と、境界領域のセグメンテーションタスクの改善を示す。

提案手法

• パディングを境界のホールとして定義し、スライディングウィンドウ内の有効入力と総入力の比により畳み込み出力を再重み付けして調整する。
• r(i,j) = ||1_p1(i,j)||1 / ||M_p0(i,j)||1 を用いて、パディングにより欠損データが生じた場合に畳み込みをスケールする。
• 各畳み込みの後にマスクを更新し、少なくとも1つの有効入力に条件付けられた位置をマークする。
• r(i,j) = 1 のとき、ゼロパディングは部分畳み込みベースのパディングの特別なケースであることを説明する。
• 効率のために最初の反復後に再重み付け因子をキャッシュする純粋な PyTorch 実装を提供する。
• 局所的な層を通じてマスクを伝搬・更新することにより、大きなパディングサイズへ部分畳み込みを拡張する方法をデモンストレーションする。

実験結果

リサーチクエスチョン

• RQ1 ImageNet および CityScapes で、ゼロパディングを部分畳み込みベースのパディングに置換することは、CNN アーキテクチャ全体の精度を向上させますか？
• RQ2 推論時のパディングタイプの変化に対して部分畳み込みベースのパディングは頑健ですか？
• RQ3 境界付近でのセグメンテーション性能に境界重み付けがどのような影響を与えますか？
• RQ4 標準のパディング方式と比較して、部分畳み込みベースのパディングを使用する場合の収束と安定性への影響は何ですか？

主な発見

• Partial convolution based padding は、ImageNet で VGG および ResNet 系においてゼロパディングより検証精度を一貫して改善する。
• 改善は VGG19 および ResNet50 で顕著であり（報告された実行でトップ1獲得が約0.32〜0.68%）。
• Partial convolution based padding はゼロパディングより性能変動が小さく（標準偏差が小さい）、頑健性が高いことを示す。
• Partial convolution based padding を用いたモデルは、ゼロパディングと同等またはそれ以上の精度へより速く収束する。
• セマンティックセグメンテーション（Cityscapes の DeepLabV3+）では、ResNet50 および WideResNet38 のバックボーンで mIOU が改善され、タイルベース評価で通常評価より追加の利得があり、特に境界領域で顕著である。