[論文レビュー] Deeply Cascaded U-Net for Multi-Task Image Processing

Ilja Gubins, Remco C. Veltkamp|arXiv (Cornell University)|May 1, 2020

Advanced Neural Network Applications参考文献 18被引用数 5

ひとこと要約

本論文では、ノイズ除去やセマンティックセグメンテーションなどの複数の画像処理タスクを、共有エンコーダーとタスク固有のデコーダーパathwayを備えた1つの統合ネットワークに統合する、深く階層化されたU-Netアーキテクチャを提案する。予測の深さのある段階的結合とパス間の特徴量連携を可能にすることで、個々のネットワークや共同学習ネットワークと比較してパrameter数が少ないにもかかわらず優れた性能を達成する。

ABSTRACT

In current practice, many image processing tasks are done sequentially (e.g. denoising, dehazing, followed by semantic segmentation). In this paper, we propose a novel multi-task neural network architecture designed for combining sequential image processing tasks. We extend U-Net by additional decoding pathways for each individual task, and explore deep cascading of outputs and connectivity from one pathway to another. We demonstrate effectiveness of the proposed approach on denoising and semantic segmentation, as well as on progressive coarse-to-fine semantic segmentation, and achieve better performance than multiple individual or jointly-trained networks, with lower number of trainable parameters.

研究の動機と目的

• 複数の画像処理タスクを統合した1つのディープラーニングフレームワークを用いることで、逐次処理パイプラインの非効率性と最適でない性能を是正すること。
• 複数の画像処理タスクにおける性能を維持または向上させつつ、学習可能なパrameter数を削減すること。
• コンピュータビジョンにおけるマルチタスク学習において、深さのある段階的結合とパス間の特徴量連携の利点を調査すること。
• 標準的および段階的粗いから細かいセマンティックセグメンテーションタスクの両方で、性能の向上を実証すること。

提案手法

• 特定の画像処理タスクに特化した複数の並列デコーダーパスウェイを備えたU-Netアーキテクチャを拡張する。
• 1つのタスクのデコーダー出力をエンコーダーまたは後続のデコーダーにフィードバックすることで、深さのある段階的結合を導入する。
• 異なるタスク固有のデコーダー間で特徴量の流れを可能にするために、パス間接続を確立する。
• 階層的特徴量を抽出する共有エンコーダーバックボーンを用い、その後に予測用のタスク固有のヘッドを配置する。
• 個々のタスク損失を組み合わせたマルチタスク損失を用いて、ネットワーク全体をエンドツーエンドで訓練する。
• 各デコーダーパスウェイ内でスキップ接続を採用し、空間解像度を保持するとともに勾配の流れを促進する。

実験結果

リサーチクエスチョン

• RQ1 統合されたディープラーニングアーキテクチャは、逐次的または独立して訓練されたモデルよりも、複数の画像処理タスクにおいて優れた性能を発揮できるか？
• RQ2 標準的なマルチタスク学習と比較して、予測の深さのある段階的結合はマルチタスク画像処理の性能を向上させるか？
• RQ3 パス間の特徴量連携は、異なるタスク間での表現学習を強化できるか？
• RQ4 標準U-Netおよびマルチタスクベースラインと比較して、提案アーキテクチャはパrameter効率性と精度の両面で優れているか？

主な発見

• 提案された深く階層化されたU-Netは、ノイズ除去およびセマンティックセグメンテーションタスクにおいて、個別学習ネットワークおよび共同学習ネットワークを上回る性能を達成する。
• 各タスク用に別々のネットワークを訓練するのと比較して、学習可能なパrameter数を削減する。
• 深さのある段階的結合とパス間連携により、特に段階的粗いから細かいセマンティックセグメンテーションにおいて、特徴量学習と予測精度が向上する。
• 最小限のアーキテクチャ的オーバーヘッドで、多様な画像処理タスクに強く一般化する能力を示す。