[論文レビュー] Generalized Deep Image to Image Regression

Venkataraman Santhanam, Vlad I. Morariu+1 more|arXiv (Cornell University)|Dec 10, 2016

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 4

ひとこと要約

本稿では、汎用的でエンド・ツー・エンドで学習可能な、完全畳み込み型の深層ネットワークである再帰的ブランチ型デコンボリューションネットワーク（RBDN）を提案する。再帰的ブランチ構造と学習可能なアップサンプリング、パラメータ共有を用いることで、ネットワークの初期段階で安価で豊富なマルチコンテキスト表現を生成し、タスク固有の変更や後処理なしにリライト、ノイズ除去、カラー化といった多様なタスクで優れた性能を達成できる。

ABSTRACT

We present a Deep Convolutional Neural Network architecture which serves as a generic image-to-image regressor that can be trained end-to-end without any further machinery. Our proposed architecture: the Recursively Branched Deconvolutional Network (RBDN) develops a cheap multi-context image representation very early on using an efficient recursive branching scheme with extensive parameter sharing and learnable upsampling. This multi-context representation is subjected to a highly non-linear locality preserving transformation by the remainder of our network comprising of a series of convolutions/deconvolutions without any spatial downsampling. The RBDN architecture is fully convolutional and can handle variable sized images during inference. We provide qualitative/quantitative results on $3$ diverse tasks: relighting, denoising and colorization and show that our proposed RBDN architecture obtains comparable results to the state-of-the-art on each of these tasks when used off-the-shelf without any post processing or task-specific architectural modifications.

研究の動機と目的

• 多様なタスクにわたって優れた性能を発揮するが、タスクに依存しない汎用的で、タスクに特化しない深層学習アーキテクチャの欠如に取り組む。
• 既存の画像対画像ネットワークにおける局所性とコンテキストのトレードオフを克服するため、マルチスケールで早期にコンテキストを抽出する表現を構築する。
• 可変サイズの入力を処理でき、異なるタスクに対してアーキテクチャの変更が不要な完全畳み込み型ネットワークを設計する。
• 1つの汎用アーキテクチャが、複数の異なる画像対画像回帰タスクで競争力ある性能を発揮できることを実証する。

提案手法

• 学習可能なアップサンプリングを用いた再帰的ブランチ構造を採用し、ネットワークの初期段階でマルチスケール特徴を生成することで、効率的なマルチコンテキスト表現を実現する。
• ブランチ間で広範囲のパラメータ共有を実施することで、モデルの複雑さを低減しつつも豊富な特徴表現を維持する。
• 共通のプーリング層で全再帰的ブランチの出力を統合し、複合マルチコンテキスト特徴マップを構築する。
• 空間的なダウンサンプリングを行わず、9層の完全畳み込み層のスタックを通過させることで局所性を保持し、強力な非線形変換を適用する。
• 各タスクに適した損失関数（例：ノイズ除去ではMSE、カラー化では交差エントロピー）を用い、標準的なバックプロパゲーションでネットワーク全体をエンド・ツー・エンドで学習する。
• タスク間で深さを固定し、残差接続を一切使用しないことで、深さではなく再帰的ブランチ構造の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のアーキテクチャ変更なしに、1つの汎用的深層ネットワークアーキテクチャが、多様な画像対画像回帰タスクでSOTA性能を達成できるか？
• RQ2 ブランチ構造と学習可能なアップサンプリングによる再帰的マルチコンテキスト特徴抽出は、画像対画像ネットワークにおける局所性とコンテキストのトレードオフを効果的に緩和できるか？
• RQ3 完全畳み込み型でエンド・ツー・エンドで学習可能なネットワークは、可変サイズの入力を処理でき、異なる画像対画像タスクに一般化できるか？
• RQ4 浅いが再帰的ブランチを持つネットワークの性能は、DnCNNのような深く残差接続を有するネットワークと比較して、ノイズ除去やリライトタスクでどのように異なるか？
• RQ5 カラー化のような曖昧なタスクにおいて、損失関数の選択（例：MSE対比交差エントロピー）が出力の知覚的品質にどの程度影響を与えるか？

主な発見

• 3ブランチのRBDNは、検証セットでリライトタスクにおいてほぼ完璧な結果を達成し、照明変動に対して強い汎化性と頑健性を示した。
• 3ブランチのRBDNは、σ=25～σ=55のノイズレベルにおいて、DnCNN（18層）よりも優れたノイズ除去性能を示したが、RBDNは浅く（9層）かつ残差接続を欠いているにもかかわらずである。
• RBDNは、学習分布外の高ノイズレベル（σ=55）に対しても効果的に一般化できており、強力な汎化能力を示した。
• カラー化タスクにおいて、ソフトマックス交差エントロピー損失を用いたRBDN-Labは、MSEベースのモデルよりも彩度が高く、知覚的に魅力的な結果を生成し、彩度不足問題を克服した。
• RBDN-Labは、より複雑な線形拡張畳み込みネットワークを用いた先行研究の結果と同等のカラー化性能を達成したが、アーキテクチャははるかに単純であった。
• RBDNは、後処理やアーキテクチャチューニングなしに、オフ・ザ・シェルで使用するだけで、リライト、ノイズ除去、カラー化の3つのタスクでSOTAモデルと競合する性能を発揮した。