[論文レビュー] Pixel Deconvolutional Networks

Hongyang Gao, Hao Yuan+2 more|arXiv (Cornell University)|May 18, 2017

Advanced Neural Network Applications参考文献 23被引用数 31

ひとこと要約

本稿では、隣接する出力画素間の直接的な空間的関係を保証するように、中間特徴マップの逐次的・依存関係に基づく生成を課すことで、チェッカーボードアーチファクトを解消する新しい逆畳み込み演算であるピクセル逆畳み込み層（PixelDCL）を提案する。実験結果から、PixelDCLはセマンティックセグメンテーションの精度を向上させるとともに、チェッカーボードアーチファクトのないリアルな画像生成を可能にし、標準的な逆畳み込み層を上回る性能を発揮するが、実装最適化により実用的な効率性を維持している。

ABSTRACT

Deconvolutional layers have been widely used in a variety of deep models for up-sampling, including encoder-decoder networks for semantic segmentation and deep generative models for unsupervised learning. One of the key limitations of deconvolutional operations is that they result in the so-called checkerboard problem. This is caused by the fact that no direct relationship exists among adjacent pixels on the output feature map. To address this problem, we propose the pixel deconvolutional layer (PixelDCL) to establish direct relationships among adjacent pixels on the up-sampled feature map. Our method is based on a fresh interpretation of the regular deconvolution operation. The resulting PixelDCL can be used to replace any deconvolutional layer in a plug-and-play manner without compromising the fully trainable capabilities of original models. The proposed PixelDCL may result in slight decrease in efficiency, but this can be overcome by an implementation trick. Experimental results on semantic segmentation demonstrate that PixelDCL can consider spatial features such as edges and shapes and yields more accurate segmentation outputs than deconvolutional layers. When used in image generation tasks, our PixelDCL can largely overcome the checkerboard problem suffered by regular deconvolution operations.

研究の動機と目的

• 深層ネットワークにおけるアップサンプリングに用いられる逆畳み込み層に根強く残るチェッカーボードアーチファクト問題に対処すること。
• 標準的な逆畳み込み操作とは異なり、アップサンプリングされた特徴マップにおける隣接画素間の直接的な空間的関係を確立すること。
• 完全にトレーニング可能でモデル互換性を保ちつつ、逆畳み込み層の即座に差し替え可能なプラグアンドプレイの代替手法を提案すること。
• エッジや形状といった局所的な空間的コンテキストを活用することで、セマンティックセグメンテーションおよび画像生成タスクの性能を向上させること。
• 中間特徴マップの逐次的生成が、最小限の効率的損失でチェッカーボードアーチファクトを効果的に緩和できることを示すこと。

提案手法

• 標準的な逆畳み込みを、独立して計算された中間特徴マップの周期的なシャッフルとして再解釈し、これにより隣接する出力画素間の空間的関係が途切れてしまうことを明らかにする。
• 中間特徴マップを逐次的に生成することで、各後続マップが以前に生成されたマップに依存するようにし、空間的連続性を確保するPixelDCLを提案する。
• 最終的なアップサンプリング特徴マップにおける隣接画素間に直接的な依存関係を確立する逐次的生成メカニズムを導入する。
• 逐次処理に伴う計算オーバーヘッドを低減する実装テクニックを採用し、標準的な逆畳み込みと比較して効率的損失を最小限に抑える。
• エンコーダ・デコーダアーキテクチャおよび生成モデルにおける任意の逆畳み込み層に、アーキテクチャの変更なしにプラグインとして適用可能である。
• 評価には標準的なU-NetおよびVAEベースのアーキテクチャを用い、デコーダ内の逆畳み込み層をすべてPixelDCLに置き換えつつ、他のすべてのコンponentsをそのままである。

実験結果

リサーチクエスチョン

• RQ1 逆畳み込み操作の再解釈が、アップサンプリングされた特徴マップにおけるチェッカーボードアーチファクトを解消する手法に繋がるか。
• RQ2 逆畳み込みにおける中間特徴マップの逐次的依存関係を強制することで、出力特徴マップの空間的整合性が向上するか。
• RQ3 PixelDCLが、モデルのトレーニング性を損なわず、アーキテクチャの再設計を要せず、標準的な逆畳み込み層の即座の代替として使用可能か。
• RQ4 PixelDCLの使用が、セマンティックセグメンテーションおよび画像生成品質に測定可能な向上をもたらすか。
• RQ5 PixelDCLにおける逐次処理の計算コストを軽減することで、実用的な効率性を維持できるか。

主な発見

• Qualitativeな結果から、PixelDCLはセマンティックセグメンテーションおよび画像生成タスクの両方で、チェッカーボードアーチファクトを顕著に低減していることが視覚的に確認された。
• PASCAL VOC 2012データセットにおいて、PixelDCLを用いたU-Netモデルは、標準的な逆畳み込み層を用いたモデルよりも高い平均交差率（mIOU）とピクセル精度を達成した。
• セマンティックセグメンテーションにおいて、PixelDCLを用いたモデルは標準的な逆畳み込みを用いたモデルを上回り、最高のmIOUを記録した。これは、エッジや形状の保存性が向上したことを示している。
• CelebAデータセットにおける画像生成において、PixelDCLを搭載したVAEは、標準的な逆畳み込みを用いたベースラインモデルとは異なり、目に見えるチェッカーボードアーチファクトのないリアルな顔画像を生成した。
• PixelDCLの訓練時間と推論時間は、標準的な逆畳み込みと比較してやや長く、平均で1.25倍の増加にとどまり、実用的な効率性を示している。
• iPixelDCLバージョンは、より多くの依存関係を有するため、PixelDCLよりも高い計算コストを示したが、両者とも実世界のデプロイに実用的であると判明した。