[論文レビュー] The Devil is in the Decoder: Classification, Regression and GANs

Zbigniew Wojna, Vittorio Ferrari+5 more|arXiv (Cornell University)|Jul 18, 2017

Advanced Image Processing Techniques参考文献 42被引用数 9

ひとこと要約

本論文は、コンピュータビジョンにおけるピクセル単位の予測タスクにおけるデコーダー・アーキテクチャの影響を調査し、画素再構成性能を著しく向上させるとともにアーティファクトを低減する、新しい二重線形加法的アップサンプリング層とリーマン型接続を提案する。本研究では、分類、回帰、GANベースの合成タスクのあらゆる分野において、デコーダー選択が結果に顕著な影響を及ぼすことが示され、二重線形加法的アップサンプリングが精度とアーティファクト低減の両面で優れていることが判明した。

ABSTRACT

Many machine vision applications, such as semantic segmentation and depth prediction, require predictions for every pixel of the input image. Models for such problems usually consist of encoders which decrease spatial resolution while learning a high-dimensional representation, followed by decoders who recover the original input resolution and result in low-dimensional predictions. While encoders have been studied rigorously, relatively few studies address the decoder side. This paper presents an extensive comparison of a variety of decoders for a variety of pixel-wise tasks ranging from classification, regression to synthesis. Our contributions are: (1) Decoders matter: we observe significant variance in results between different types of decoders on various problems. (2) We introduce new residual-like connections for decoders. (3) We introduce a novel decoder: bilinear additive upsampling. (4) We explore prediction artifacts.

研究の動機と目的

• 異なるデコーダー・アーキテクチャが多様なピクセル単位のマシンビジョンタスクに与える影響を体系的に評価すること。
• さまざまなアップサンプリング手法が引き起こす性能の格差と予測アーティファクトを同定し、解決すること。
• パラメータ効率と精度の両立を図る新規デコーダー部品「二重線形加法的アップサンプリング」を提案すること。
• 複数のタスクにわたるデコーダースタックにおけるリーマン型接続の有効性を調査すること。
• すべての実験でエンコーダーを固定することで、デコーダー設計の影響を明確に分離し、公平な比較を実現すること。

提案手法

• 二重線形補間と学習可能なリーマン接続を組み合わせた、特徴再構成を向上させる新規アップサンプリング層「二重線形加法的アップサンプリング」を提案する。
• デコーダー・アーキテクチャに特化したリーマン型接続を導入し、勾配の流れを改善し、全タスクで性能向上を達成する。
• 全実験で固定されたエンコーダー（ResNet-50）を用いることで、デコーダー部品の公平な比較を実現する。
• 変換畳み込み、depth-to-space、最近傍、bicubic、および異なるリーマン接続とスキップ接続の組み合わせを用いた二重線形アップサンプリングを含む、複数のデコーダー変種を評価する。
• 2700万ピクセルのトリプレットを用いた深度回帰において、アーティファクト生成のアブレーションスタディを実施し、予測誤差と視覚的アーティファクトを測定する。
• セマンティックセグメンテーション、エッジ検出、キーポイント推定、深度予測、カラー化、スーパーレンジング、GANベースの画像生成の7つのタスクで制御された実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーション、回帰、画像生成などの多様なピクセル単位の予測タスクにおいて、異なるデコーダー・アーキテクチャが性能に与える影響は何か？
• RQ2 リーマン型接続はデコーダー性能とアーティファクト低減にどのような影響を与えるか？
• RQ3 変換畳み込み、二重線形、bicubic などのさまざまなアップサンプリング手法は、精度と視覚的アーティファクトの観点でどのように比較できるか？
• RQ4 二重線形加法的アップサンプリングのような新規アップサンプリング機構は、複数のタスクで一貫して既存手法を上回る性能を発揮できるか？
• RQ5 チェス盤模様やぼやけなど、予測アーティファクトはデコーダーの種類に応じてどの程度変動するか？

主な発見

• デコーダーの選択が性能に顕著な影響を与える：変換畳み込みとdepth-to-spaceデコーダーは、二重線形変種よりも多くのアーティファクトを発生させ、性能も劣る。
• 提案された二重線形加法的アップサンプリング層は、リーマン型接続を組み合わせることで、セマンティックセグメンテーションで17.5%のmIoU、深度予測で18.4%のmIoUを達成し、他の二重線形変種を上回る性能を示した。
• リーマン型接続は全デコーダー種別で性能を向上させ、アーティファクトを低減し、一部のタスクではmIoUを最大2.7ポイント向上させた。
• 二重線形アップサンプリング変種は、変換畳み込みやdepth-to-spaceよりも顕著に少ないアーティファクトを生成し、深度回帰では14.7%～15.2%の誤差率を示したのに対し、変換畳み込み変種は19.5%の誤差率を示した。
• 最近傍とbicubicアップサンプリングは類似した性能を示し、GANベースの画像生成ではbicubicがわずかに優れていた（FID: 28.1 vs. 29.8）が、差は小さい。
• 二重線形加法的アップサンプリング法は、精度とアーティファクト抑制の両面で最良のトレードオフを達成しており、ほとんどのピクセル単位の予測タスクにおいて推奨される選択肢である。