[論文レビュー] Deep Convolutional Framelets: A General Deep Learning Framework for Inverse Problems

Jong Chul Ye, Yoseob Han+1 more|arXiv (Cornell University)|Jul 3, 2017

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、ReLU活性化関数を用いた多層畳み込みフレームレットを備えた、逆問題向けの新しい深層学習フレームワーク「Deep Convolutional Framelets」を提案する。このフレームワークは、古典的信号処理理論と深層学習を統合し、完全再構成を達成する。フレームワークは、残差ブロック、冗長フィルターチャネル、CReLU層が完全再構成を可能にすることを明らかにするとともに、プーリング層は高周波成分ブランチを備えることでこの性質を維持できることを示し、逆問題用ネットワークの理論的裏付けに基づく設計を提供する。

ABSTRACT

Recently, deep learning approaches with various network architectures have achieved significant performance improvement over existing iterative reconstruction methods in various imaging problems. However, it is still unclear why these deep learning architectures work for specific inverse problems. To address these issues, here we show that the long-searched-for missing link is the convolution framelets for representing a signal by convolving local and non-local bases. The convolution framelets was originally developed to generalize the theory of low-rank Hankel matrix approaches for inverse problems, and this paper further extends the idea so that we can obtain a deep neural network using multilayer convolution framelets with perfect reconstruction (PR) under rectilinear linear unit nonlinearity (ReLU). Our analysis also shows that the popular deep network components such as residual block, redundant filter channels, and concatenated ReLU (CReLU) do indeed help to achieve the PR, while the pooling and unpooling layers should be augmented with high-pass branches to meet the PR condition. Moreover, by changing the number of filter channels and bias, we can control the shrinkage behaviors of the neural network. This discovery leads us to propose a novel theory for deep convolutional framelets neural network. Using numerical experiments with various inverse problems, we demonstrated that our deep convolution framelets network shows consistent improvement over existing deep architectures.This discovery suggests that the success of deep learning is not from a magical power of a black-box, but rather comes from the power of a novel signal representation using non-local basis combined with data-driven local basis, which is indeed a natural extension of classical signal processing theory.

研究の動機と目的

• 深層学習と古典的信号処理の間の理論的関係を、逆問題に対して特定すること。
• 特定の深層学習部品（例：残差ブロック、CReLU）が、なぜ逆問題において完全再構成を可能にするのかを説明すること。
• フレームレット理論と深層ネットワークを統合し、逆問題の解決を向上させる一般化された深層学習フレームワークを構築すること。
• 既存アーキテクチャの限界を明らかにし、信号表現理論に基づく設計原則を提示すること。

提案手法

• ReLU活性化関数を用いた多層畳み込みフレームレットネットワークを提案し、特定の条件下で完全再構成（PR）を達成する。
• ReLUおよびCReLU操作を用いて特徴マップを正負の部分に分解することで、完全再構成条件を導出する。
• フィルタバンクとバイアスを対称的に設計した符号化・復号化構造を導入し、元の信号を正確に再構成可能であることを保証する。
• ハンケル行列に基づくフレームレットを基盤とし、低ランク行列アプローチを深層学習フレームワークへ一般化する。
• 残差ブロックおよび冗長フィルターチャネルが完全再構成を達成するために不可欠であることを示す。
• プーリング層は、完全再構成性を維持するためには高周波成分ブランチを追加する必要があることを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 理論的根拠のないままに、なぜ一部の深層学習アーキテクチャが逆問題において優れた性能を示すのか？
• RQ2 深層畳み込みネットワークで完全再構成を可能にする数学的メカニズムは何か？
• RQ3 標準的な部品（例：残差ブロック、CReLU）が、なぜ逆問題における完全再構成に寄与するのか？
• RQ4 なぜプーリングおよびアンプーリング層は、変更を加えなければ完全再構成を達成できないのか？
• RQ5 フレームレットや圧縮センシングといった古典的信号処理理論を、深層学習とどのように統合し、逆問題に応用できるか？

主な発見

• 提案されたDeep Convolutional Frameletsネットワークは、フィルタバンクとバイアスが特定の対称的条件を満たす場合、ReLU活性化関数を用いて完全再構成を達成する。
• 残差ブロック、冗長フィルターチャネル、CReLU層は、完全再構成を実現するために数学的に不可欠であり、それらの実験的効果を説明する。
• プーリング層は、高周波成分ブランチを追加しない限り、完全再構成を保証できない。これは重要な設計インサイトである。
• フレームワークは、非局所的基底とデータ駆動型局所的基底を組み合わせた、新たな信号表現が、逆問題における深層学習の成功の要因であることを明らかにする。
• 数値実験では、低線量CTや圧縮センシングMRIを含む多様な逆問題において、従来の深層アーキテクチャを常に上回る性能向上を示す。
• 理論は、深層学習の設計原則を提供し、ブラックボックス学習によるものではなく、古典的信号処理の自然な拡張であることが示唆される。