[論文レビュー] SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network

Nazmul Karim, Nazanin Rahnavard|arXiv (Cornell University)|Jul 3, 2021

Random lasers and scattering media参考文献 78被引用数 14

ひとこと要約

本稿では、1ピクセルのイメージングに適したGANベースのフレームワークであるSPI-GANを提案する。ResNetに類似した生成器と、MSE + 感覚的損失の多損失目的関数を活用することで、低サンプリング比でも高品質な画像再構成を実現する。5%のサンプリング比で17.92 dBのPSNRと0.487のSSIMを達成し、最大22 fpsのリアルタイム動画再構成が可能であり、未学習の画像に対しても優れた汎化性能を示し、ノイズに強く頑健である。

ABSTRACT

Single-pixel imaging is a novel imaging scheme that has gained popularity due to its huge computational gain and potential for a low-cost alternative to imaging beyond the visible spectrum. The traditional reconstruction methods struggle to produce a clear recovery when one limits the number of illumination patterns from a spatial light modulator. As a remedy, several deep-learning-based solutions have been proposed which lack good generalization ability due to the architectural setup and loss functions. In this paper, we propose a generative adversarial network-based reconstruction framework for single-pixel imaging, referred to as SPI-GAN. Our method can reconstruct images with 17.92 dB PSNR and 0.487 SSIM, even if the sampling ratio drops to 5%. This facilitates much faster reconstruction making our method suitable for single-pixel video. Furthermore, our ResNet-like architecture for the generator leads to useful representation learning that allows us to reconstruct completely unseen objects. The experimental results demonstrate that SPI-GAN achieves significant performance gain, e.g. near 3dB PSNR gain, over the current state-of-the-art method.

研究の動機と目的

• 従来の反復的手法および深層学習ベースの1ピクセルイメージング手法が直面する、高い計算コスト、遅い再構成速度、および劣った汎化性能の課題に対処する。
• 画像再構成における標準的なMSEベースの損失関数がもたらすぼやけた出力と限られた表現学習能力を克服する。
• 極めて低いサンプリング比（例：5%）であっても、高速かつ高品質な1ピクセル画像の再構成を実現し、動画応用に適する。
• 深く、残差接続を持つ生成器アーキテクチャを活用することで、未学習の画像への汎化性能を向上させる。
• 敵対的学習と感覚的損失を組み合わせたGANベースのフレームワークを構築し、構造的特徴および高周波数ディテールの回復を向上させる。

提案手法

• 残差接続を備えたResNetに類似した生成器ネットワークを採用し、特徴表現学習を向上させるとともに、より深いネットワークの学習を可能にする。
• 本物の画像と再構成画像を区別するための識別器ネットワークを統合し、生成器が現実的で高品質な出力を生成するよう促進する。
• 事前学習済みのVGGネットワークからの特徴に基づく、平均二乗誤差（MSE）と感覚的類似度損失のハイブリッド損失関数を採用し、構造的忠実性を向上させ、ぼやけを軽減する。
• ミニマックス目的関数を用いて生成器と識別器を敵対的に学習させ、再構成精度と感覚的品質の両方を最適化する。
• 推論時にサンプリング比を5%に固定し、極めて低サンプリング条件下での性能評価を実施する。
• 多様なデータセットで100エポックにわたってモデルを学習させ、未学習データへの頑健な汎化性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、低サンプリング比における最新の深層学習および反復的手法を上回る性能を示せるか？
• RQ2 ResNetに類似した生成器アーキテクチャの使用は、1ピクセルイメージングにおける特徴表現および再構成品質を向上させるか？
• RQ3 MSEと感覚的損失の組み合わせは、MSE単体のベースラインと比較して、よりシャープで現実的な再構成を実現できるか？
• RQ4 SPI-GANは、学習時に見未曾る完全に新しい画像やデータセットに対し、どの程度の汎化性能を示すか？
• RQ5 SPI-GANは、低サンプリングレートでも高精細なリアルタイム動画再構成（例：15–22 fps）を達成できるか？

主な発見

• SPI-GANは5%のサンプリング比で17.92 dBのPSNRと0.487のSSIMを達成し、既存手法を顕著に上回る。
• 本手法は、最大22 fps（5%のサンプリング比）でリアルタイムの1ピクセル動画再構成を実現し、合計のイメージング時間はわずか0.065秒である。
• SPI-GANは優れた汎化性能を示し、CBSD68では平均18.28 dB、BSDS300では18.49 dBのPSNRを達成し、DLGIやDeepghostを上回る。
• Urban100およびSunHays-80のデータセットでは、それぞれ17.15 dBおよび17.85 dBのPSNRを達成したのに対し、Deepghostは14.21 dBおよび14.84 dBにとどまり、より優れたロバストネスと表現学習能力を示している。
• 感覚的損失の導入により、MSEオンリーベースラインと比較して再構成品質が著しく向上し、ぼやけが軽減され、高周波数ディテールが強化された。
• 100エポックの学習後、バリデーションセットで18.95 dBのPSNRと0.545のSSIMを達成し、安定した収束と優れた性能を確認した。