[論文レビュー] Ensemble learning priors unfolding for scalable Snapshot Compressive Sensing

Chengshuai Yang, Shiyu Zhang+1 more|arXiv (Cornell University)|Jan 25, 2022

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、アンサンブル学習とディープアンフォールディングを組み合わせることで、スケーラブルな動画スナップショット圧縮撮影を実現する深層学習ベースの手法、Ensemble Learning Priors Unfolding (ELP-Unfolding) を提案する。単一段階フレームワーク内で複数のニューラルネットワークプライオリティを統合し、密なスキップ接続を採用することで、再構成精度と速度の両立を達成した。ベンチマークデータ上で35.41 dBのPSNRと0.969のSSIMを達成し、推論時間は最小限に抑えられ、再訓練を伴わず、異なる圧縮比やシステム構成に対してもスケーラブルである。

ABSTRACT

Snapshot compressive imaging (SCI) can record the 3D information by a 2D measurement and from this 2D measurement to reconstruct the original 3D information by reconstruction algorithm. As we can see, the reconstruction algorithm plays a vital role in SCI. Recently, deep learning algorithm show its outstanding ability, outperforming the traditional algorithm. Therefore, to improve deep learning algorithm reconstruction accuracy is an inevitable topic for SCI. Besides, deep learning algorithms are usually limited by scalability, and a well trained model in general can not be applied to new systems if lacking the new training process. To address these problems, we develop the ensemble learning priors to further improve the reconstruction accuracy and propose the scalable learning to empower deep learning the scalability just like the traditional algorithm. What's more, our algorithm has achieved the state-of-the-art results, outperforming existing algorithms. Extensive results on both simulation and real datasets demonstrate the superiority of our proposed algorithm. The code and models will be released to the public.

研究の動機と目的

• 深層学習ベースのスナップショット圧縮撮影における再構成速度と精度のトレードオフを解消すること。
• 既存の深層学習モデルが新しいシステムや圧縮比に対応するためには再訓練が必要であるというスケーラビリティの制限を克服すること。
• 推論時間を増加させずに、ディープアンフォールディングフレームワーク内でのアンサンブル学習を活用して再構成性能を向上させること。
• 空間的および時間的次元にわたる変動に応じて高い性能を維持する、完全な畳み込み型でスケーラブルな学習手順の開発

提案手法

• 各アンフォールディング段階で複数のニューラルネットワークデノイザー（プライオリティ）を統合するアンサンブル学習プライオリティアンフォールディングフレームワークを導入し、再構成精度を向上させる。
• 特徴の再利用と情報の流れの改善を目的として、プライオリティ間の密なスキップ接続を採用し、単純な加算と連結演算を用いる。
• マルチレイヤーパーセプトロン（MLPs）を含まない完全な畳み込み型ネットワークアーキテクチャを設計し、異なる画像サイズに対しても空間的スケーラビリティを確保する。
• 時間的スケーラビリティを実現するため、異なる時間長に対しても入力チャネル数を一定に保つことで、1つのモデルが異なるフレーム数を処理可能にする。
• 再訓練を必要とせず、新しいマスクや圧縮比を持つシステムに一般化可能なスケーラブルな学習手順を訓練段階で開発する。
• 多様なデータ分布を統合する統一されたトレーニング戦略を採用し、システムの変動にわたるロバストネスと一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数のニューラルネットワークプライオリティのアンサンブル学習が、推論時間を増加させずに、スナップショット圧縮撮影のディープアンフォールディングにおける再構成精度を向上させることができるか？
• RQ2 推論を再訓練することなく、異なる空間的および時間的次元にわたるスケーラビリティを実現するにはどうすればよいか？
• RQ3 密なスキップ接続が、提案されたELP-Unfoldingフレームワークにおける性能と特徴伝搬に与える影響は何か？
• RQ4 提案されたスケーラブルな学習手順は、従来のプラグアンドプレイ（PnP）手法と比較して、精度と速度の面でどの程度優れているか？
• RQ5 一度のトレーニングで学習した統一モデルは、ノイズレベルやシステム構成が異なる実世界のデータセットにおいても高い性能を達成できるか？

主な発見

• ELP-Unfoldingはベンチマークデータセットで、Dense3D-Unfoldingを上回る最先端のPSNR 35.41 dBとSSIM 0.969を達成し、推論時間は著しく短縮された。
• テスト時間はわずか0.967秒であり、最も高速な既存手法と同等の高速再構成を実現した。
• 小規模なモデル（128チャネル）を用いた場合、アンサンブルプライオリティの導入により平均で1.75 dB以上のPSNR向上が達成され、トレーニング時間や推論時間の増加なしに実現した。
• 密なスキップ接続は性能を顕著に向上させ、13段階・6プライオリティのモデルでは、接続なしの場合の34.85 dBと比較して35.41 dBのPSNRを達成した。
• スケーラブルな学習手順により、1つのトレーニング済みモデルが、異なる圧縮比やシステム構成、実世界のデータセット（Chopwheel, WaterBalloon, Duomino, Hand）に対応してデータ再構成が可能になった。
• 本手法は、初めてとして、高ノイズレベルのため過去の手法が再構成に失敗した挑戦的な実データセット「Hand」を成功裏に再構成した。