[論文レビュー] A guide to convolution arithmetic for deep learning

Vincent Dumoulin, Francesco Visin|arXiv (Cornell University)|Mar 23, 2016

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 1,223

ひとこと要約

畳み込み、プーリング、転置畳み込み層における入力サイズ、カーネルサイズ、パディング、ストライド、出力サイズの関係を詳述するガイドで、拡張畳み込みを含み、それらの算術に関する実践的な直感も解説します。

ABSTRACT

We introduce a guide to help deep learning practitioners understand and manipulate convolutional neural network architectures. The guide clarifies the relationship between various properties (input shape, kernel shape, zero padding, strides and output shape) of convolutional, pooling and transposed convolutional layers, as well as the relationship between convolutional and transposed convolutional layers. Relationships are derived for various cases, and are illustrated in order to make them intuitive.

研究の動機と目的

• 入力形状、カーネル形状、パディング、ストライドが畳み込み、プーリング、転置畳み込み層の出力形状をどのように決定するかを説明する。
• 1D/2D/N-D の畳み込みとプーリングに対する直感的でフレームワークに依存しない関係を提供する。
• 畳み込みと転置畳み込みの操作間の結びつきとその実践的な影響を明確にする。
• 拡張（atrous）畳み込みと受容野および出力サイズへの影響についての指針を提供する。

提案手法

• 畳み込みのために i, k, s, p を出力 o に結びつける一連の形式的関係を提示する（関係1–6）。
• 半分（同じ）パディングと全パディングを、それに対応する出力サイズの公式とともに説明する。
• プーリングの算術を畳み込みと同じ枠組みで説明する（関係7）。
• 転置畳み込みを、転置畳み込みを前方畳み込みの勾配/転置として見ることで導出する（セクション4.1–4.6）。
• 拡張畳み込みを導入し、出力サイズの関係（関係15）を導出する。
• 畳み込みの行列演算ビューを用いて前向きおよび後向き計算を明らかにする（セクション4.1）。

実験結果

リサーチクエスチョン

• RQ1 軸ごとに畳み込みの出力サイズを決定する、入力サイズ、カーネルサイズ、パディング、ストライドの正確な関係は何か。
• RQ2 パディングモード（半分/同じ、全パディング）は、畳み込みと転置畳み込みの出力形状にどう影響するか。
• RQ3 出力形状と接続性の観点から、畳み込みとその転置バリアントの正確な関係は何か。
• RQ4 拡張畳み込みは、実効カーネルサイズと出力サイズをどのように変更するか。
• RQ5 畳み込みの前向きおよび後向き計算を、行列の解釈がどのように明らかにできるか。

主な発見

• 畳み込みの出力サイズは、各軸で入力サイズ、カーネルサイズ、ストライド、パディングに依存し、これらの軸は独立している。
• 半分（同じ）パディングは、奇数のカーネルサイズで単位ストライドの場合入力サイズを保持し、全パディングは出力サイズを kernel-1 増加させる。
• 非単位ストライドは floor-based で出力サイズを修正し、パディングは式の i を i+2p に置換することで組み込める。
• 転置畳み込みは、前方畳み込みの勾配（または転置）として理解でき、2つの間でパディングとストライドを特定の関係で対応づける。
• 拡張畳み込みは、実効カーネルサイズ hat{k}=k+(k-1)(d-1) によって受容野を広げ、カーネル自体を大きくせず、出力サイズをそれに応じて調整する。
• 畳み込みは、疎行列演算として表現でき、畳み込み行列の転置を介した後向き計算の導出を容易にする。