[論文レビュー] ISTA-Net++: Flexible Deep Unfolding Network for Compressive Sensing

Di You, Jingfen Xie+1 more|arXiv (Cornell University)|Mar 22, 2021

Sparse and Compressive Sensing Techniques参考文献 26被引用数 8

ひとこと要約

ISTA-Net++ は、条件モジュールを用いて複数のサンプリング比に動的に適応する柔軟なディープアンフォールディングネットワークを提案する。クロスブロック戦略とバランスの取れたトレーニングデータセット（Train400）を採用することで、ブロッキングアーティファクトを低減し、多様な画像シーンにわたる耐性を向上させる。4つのデータセットにおいて最先端の性能を達成し、マルチレートおよびマルチシーンタスクで一貫した向上を実現する。

ABSTRACT

While deep neural networks have achieved impressive success in image compressive sensing (CS), most of them lack flexibility when dealing with multi-ratio tasks and multi-scene images in practical applications. To tackle these challenges, we propose a novel end-to-end flexible ISTA-unfolding deep network, dubbed ISTA-Net++, with superior performance and strong flexibility. Specifically, by developing a dynamic unfolding strategy, our model enjoys the adaptability of handling CS problems with different ratios, i.e., multi-ratio tasks, through a single model. A cross-block strategy is further utilized to reduce blocking artifacts and enhance the CS recovery quality. Furthermore, we adopt a balanced dataset for training, which brings more robustness when reconstructing images of multiple scenes. Extensive experiments on four datasets show that ISTA-Net++ achieves state-of-the-art results in terms of both quantitative metrics and visual quality. Considering its flexibility, effectiveness and practicability, our model is expected to serve as a suitable baseline in future CS research. The source code is available on https://github.com/jianzhangcs/ISTA-Netpp.

研究の動機と目的

• 実用的応用において、複数のサンプリング比を扱う際の従来のディープラーニングベースの圧縮センシング手法の柔軟性の欠如に対処する。
• トレーニングデータのデータセットアンバランスを軽減することで、特に「めったに見られない」シナリオにおいても、多様な画像シーンにわたる再構成の耐性を向上させる。
• 新規のクロスブロック戦略を用いて、再構成画像のブロッキングアーティファクトを低減する。
• 再トレーニングなしで複数のサンプリング比のCS再構成が可能な統合モデルを開発し、実用性と効率性を高める。

提案手法

• 各ネットワーク段階にサンプリング比情報を注入するための条件モジュールを用いる動的アンフォールディング戦略（DUS）を導入し、1つのモデルで複数のCS比に適応可能にする。
• サンプリング比に条件付けられた動的勾配降下モジュール（DGDM）と動的プロキシマプレイニングモジュール（DPMM）を採用し、再構成中に最適化を動的に適応可能にする。
• 隣接する画像ブロック間での特徴量交換を可能にするクロスブロック戦略（CBS）を適用し、ブロッキングアーティファクトを抑制し、テクスチャの忠実度を向上させる。
• 標準的なデータセット（Train91）に見られる支配的である「植物」カテゴリに加え、多様なシーンを含むバランスの取れたデータセット（Train400）でネットワークをトレーニングする。
• 3部構成のフレームワークを採用：サンプリング（畳み込み層としてモデル化）、初期化（次元不一致の解消）、再構成（DUSおよびCBSを用いたディープアンフォールディングによる）。
• 再構成誤差を最小化する損失関数を用いたエンド・トゥ・エンドトレーニングにより、すべてのコンponentsの共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、再トレーニングなしで複数のサンプリング比にわたる圧縮センシング再構成を効果的に処理できるか。
• RQ2 データセットアンバランスが、未確認の画像シーンにおけるCSモデルの一般化性能に与える影響は何か。また、これを軽減できるか。
• RQ3 クロスブロック戦略が、ディープアンフォールディングベースのCS再構成におけるブロッキングアーティファクトをどの程度低減できるか。
• RQ4 Train400のようなよりバランスの取れたトレーニングデータセットを使用することで、多様なシーンにわたる再構成の耐性に顕著な改善が得られるか。

主な発見

• Set11において50%のサンプリング比で平均PSNR 38.73 dBを達成し、条件モジュールを含まないベースラインと比較して、10%、30%、50%の全比で平均0.26 dBの向上を示した。
• クロスブロック戦略（CBS）により、ブロッキングアーティファクトが低減され、CBSを含まないベースラインと比較してPSNRが最大0.64 dB向上した。
• バランスの取れたTrain400データセットでトレーニングしたモデルは、30%のサンプリング比で34.81 dBのPSNRを達成し、同じエポック数で非バランスなTrain91でトレーニングしたモデル（34.25 dB）を上回った。
• DIV2Kバリデーションセットの30%サンプリング比において、'house'シーンでTrain400でトレーニングしたISTAL-Net++モデルは、Train91でトレーニングしたモデルより0.97 dB高い性能を示し、レアシーンへの耐性が向上していることを示した。
• 動的アンフォールディングとクロスブロック戦略の組み合わせにより、全テスト比および全データセットで一貫した性能向上が確認され、両コンponentsの有効性が裏付けられた。
• 実験から、データセットサイズよりもデータセットのバランスが性能に与える影響が大きいことが示された。Train400にさらにデータを追加（例：Train400+Train91）しても、さらなる顕著な向上は得られなかった。