[論文レビュー] Attaining Real-Time Super-Resolution for Microscopic Images Using GAN

Vibhu Bhatia, Yatender Kumar|arXiv (Cornell University)|Oct 9, 2020

Advanced Image Processing Techniques参考文献 36被引用数 5

ひとこと要約

本論文では、生成器の設計を改善し、識別器にグローバル平均プーリング層を導入することで、顕微鏡画像のリアルタイム超解像を実現する修正されたSRGANアーキテクチャを提案する。バッチ正規化を削除し、タイリング戦略を採用することで、1つの64×64ピクセルパッチあたりの推論時間を0.051秒に短縮し、標準GPU上で24.2 FPSの動画処理を可能にした。これにより、高品質な知覚的品質とドメイン間の一般化性能を維持したまま、リアルタイム処理が実現された。

ABSTRACT

In the last few years, several deep learning models, especially Generative Adversarial Networks have received a lot of attention for the task of Single Image Super-Resolution (SISR). These methods focus on building an end-to-end framework, which produce a high resolution(SR) image from a given low resolution(LR) image in a single step to achieve state-of-the-art performance. This paper focuses on improving an existing deep-learning based method to perform Super-Resolution Microscopy in real-time using a standard GPU. For this, we first propose a tiling strategy, which takes advantage of parallelism provided by a GPU to speed up the network training process. Further, we suggest simple changes to the architecture of the generator and the discriminator of SRGAN. Subsequently, We compare the quality and the running time for the outputs produced by our model, opening its applications in different areas like low-end benchtop and even mobile microscopy. Finally, we explore the possibility of the trained network to produce High-Resolution HR outputs for different domains.

研究の動機と目的

• 深層学習を用いて顕微鏡分野におけるリアルタイム超解像を達成する挑戦に取り組む。
• SRGANのような既存のGANベースの超解像モデルの知覚的品質と推論速度を向上させる。
• 計算遅延を低減することで、低性能端末およびモバイル顕微鏡プラットフォームへの展開を可能にする。
• 訓練済みモデルのドメイン間一般化性能を、非顕微鏡的および多様な画像ドメインで評価する。
• ライブ顕微鏡応用におけるリアルタイム動画処理に最適化されたモデルを構築する。

提案手法

• GPUの並列処理を活用するためのタイリング戦略を提案し、大規模な画像を小さなパッチに分割することで、効率的な学習と推論を実現する。
• 生成器のアーキテクチャを変更し、トランスポジット畳み込み層をサブピクセル畳み込み層に置き換えることで、特徴の学習を向上させ、チェッカーボードアーチファクトを低減する。
• 生成器内の残差ブロックを残差内に密集する密集ブロック（RRDB）に置き換えることで、特徴の伝搬と学習能力を向上させる。
• 識別器にグローバル平均プーリング（GAP）層を導入することで、勾配の流れを改善し、学習の安定性を向上させる。
• 推論時間の短縮とリアルタイム性能の向上を図るため、バッチ正規化層を削除する。
• 低解像度入力を生成するためにバイキュービックダウンサンプリングを用い、ヒューマンプロテインアトラスデータセット上で顕微鏡特化の超解像強化をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 SRGANにアーキテクチャ的変更を加えることで、顕微鏡画像の超解像において知覚的品質と推論速度の両方を向上させられるか？
• RQ2 バッチ正規化を削除することで、リアルタイム応用における推論時間とモデル性能にどのような影響が生じるか？
• RQ3 顕微鏡画像で訓練されたモデルが、自然画像やバイオメディカルヒストロロジーなど、他のドメインに対してもどの程度一般化できるか？
• RQ4 タイリング戦略が、品質の著しい劣化を伴わずに、大規模な顕微鏡画像の処理に効果的にスケーリングできるか？
• RQ5 動画顕微鏡データに適用した場合、リアルタイム超解像の達成可能なフレームレートはどの程度か？

主な発見

• 修正されたSRGANは、テストセットでPSNR 33.873 dB、SSIM 0.832を達成し、ベースラインのSRGANおよび他の手法を上回る知覚的品質を実現した。
• 1つの64×64パッチの推論時間は0.051秒に短縮され、動画データで24.2 FPSのリアルタイム処理が可能になった。
• バッチ正規化の削除により、1パッチあたりの推論時間が0.041秒に短縮され、FPSは25.7に上昇した。これにより、速度向上に与えるポジティブな影響が裏付けられた。
• モデルはドメイン間入力に対しても一般化でき、自然画像（Set 14）、蛍光顕微鏡、マウス脳断面画像に対しても妥当な超解像出力を生成した。
• 訓練データにこのような特徴が存在しないため、ドメイン外の画像で明るいまたは白色領域がある場合、モデルの性能が劣化した。
• MOSテストの結果、モデルの出力がベースライン手法よりも人間の知覚的に真値に近いことが確認され、視覚的品質の向上が妥当であることが検証された。