[論文レビュー] Is the deconvolution layer the same as a convolutional layer?

Wenzhe Shi, José Caballero+5 more|arXiv (Cornell University)|Sep 22, 2016

Advanced Image Processing Techniques参考文献 4被引用数 106

ひとこと要約

このノートはデコンボリューション（転置およびサブピクセル）レイヤ間の関係を明確にし、効率的な LR-space 畳み込みを導入するとともに、LR-space 畳み込みが固定予算の下で高解像度アップサンプリングよりも優れる可能性を主張します。

ABSTRACT

In this note, we want to focus on aspects related to two questions most people asked us at CVPR about the network we presented. Firstly, What is the relationship between our proposed layer and the deconvolution layer? And secondly, why are convolutions in low-resolution (LR) space a better choice? These are key questions we tried to answer in the paper, but we were not able to go into as much depth and clarity as we would have liked in the space allowance. To better answer these questions in this note, we first discuss the relationships between the deconvolution layer in the forms of the transposed convolution layer, the sub-pixel convolutional layer and our efficient sub-pixel convolutional layer. We will refer to our efficient sub-pixel convolutional layer as a convolutional layer in LR space to distinguish it from the common sub-pixel convolutional layer. We will then show that for a fixed computational budget and complexity, a network with convolutions exclusively in LR space has more representation power at the same speed than a network that first upsamples the input in high resolution space.

研究の動機と目的

• デコンボリューション層が標準の畳み込みとどのように関連しているかを説明する。
• 転置、サブピクセル、および効率的な LR-space 畳み込みの区別をつける。
• 固定計算量の下で低解像度空間の畳み込みがより効果的になり得る理由を示す。

提案手法

• デコンボリューション形態（転置畳み込み、サブピクセル畳み込み、効率的なサブピクセル畳み込み）間の関係を議論する。
• それらの効率的な LR-space 畳み込みを、一般的なサブピクセル層とは別個のタイプとして導入する。
• 固定計算量と複雑さの下で、理論的および概念的な比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 提案されたレイヤとデコンボリューションレイヤとの関係は何か。
• RQ2 固定予算の下で低解像度空間の畳み込みがより良い選択である理由は何か。
• RQ3 転置畳み込み、サブピクセル、効率的なサブピクセル畳み込みは、表現力と速度の点でどのように異なるか。

主な発見

• このノートはデコンボリューションのバリエーション間の関係と著者らの効率的な LR-space 畳み込みを明確にする。
• 効率的なサブピクセル畳み込み層を標準のサブピクセル層と区別する。
• 固定計算量の下で、LR-space 畳み込みを持つネットワークは、最初に高解像度へアップサンプルするネットワークより同じ速度でより大きな表現力を持つ。
• 議論は、層の選択に関するCVPRの実務的な問いにより良く答えるための洞察を提供する。