[論文レビュー] Stereo Endoscopic Image Super-Resolution Using Disparity-Constrained Parallel Attention

Tianyi Zhang, Yun Gu+3 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Image Processing Techniques参考文献 9被引用数 4

ひとこと要約

本稿では、ステレオ内視鏡画像の超解像においてステレオ対応関係を保持するため、歪み制約付き並列アテンションを活用するDCSSRnetという、ステレオ内視鏡画像超解像ネットワークを提案する。アトラス視差アテンションモジュールを用い、低解像度と高解像度の視差マップの整合性を強制することで、腹腔内視鏡画像データセットにおいて最先端の性能を達成し、PSNRおよびSSIMの両指標で既存手法を上回った。

ABSTRACT

With the popularity of stereo cameras in computer assisted surgery techniques, a second viewpoint would provide additional information in surgery. However, how to effectively access and use stereo information for the super-resolution (SR) purpose is often a challenge. In this paper, we propose a disparity-constrained stereo super-resolution network (DCSSRnet) to simultaneously compute a super-resolved image in a stereo image pair. In particular, we incorporate a disparity-based constraint mechanism into the generation of SR images in a deep neural network framework with an additional atrous parallax-attention modules. Experiment results on laparoscopic images demonstrate that the proposed framework outperforms current SR methods on both quantitative and qualitative evaluations. Our DCSSRnet provides a promising solution on enhancing spatial resolution of stereo image pairs, which will be extremely beneficial for the endoscopic surgery.

研究の動機と目的

• ステレオ内視鏡画像ペアの超解像処理において、ステレオ対応関係を保持する課題に対処すること。
• 低解像度と高解像度のステレオ画像間の視差制約を組み込むことで、超解像品質を向上させること。
• 左・右の超解像画像を同時に再構築する対称的なディーブラーニングフレームワークを構築すること。
• エピポール幾何学に整合したアテンション機構と残差アトラス空間的ピラミッドプーリングを用いて特徴表現を強化すること。
• 構造的一致性を保ちながら、より現実的で詳細な超解像画像を実現すること。

提案手法

• 本手法は、ステレオペアから同時に左・右の超解像画像を生成する対称的なU-Netに類似したアーキテクチャを採用する。
• 大域的受容 field を有するマルチスケール特徴を抽出するために、残差アトラス空間的ピラミッドプーリング（ASPP）モジュールを用いる。
• アトラス視差アテンションモジュール（APAM）は、エピポール線に近い複数のラインにわたる特徴を集約することで、視差マスクを生成し、アライメントのロバスト性を向上させる。
• 低解像度と高解像度の画像ペアの視差マップ間の整合性を強制するため、視差制約損失を導入する。
• 損失関数は再構築損失と、LR および HR 視差マスクの差分に基づく正則化項を組み合わせる。
• トレーニング中の一貫性のある監視を実現するため、三線形補間を用いて低解像度の視差マップをアップサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 視差制約は、超解像されたステレオ内視鏡画像の品質を向上させ得るか？
• RQ2 低解像度と高解像度の視差マップの整合性を強制することで、超解像における構造的忠実性にどのような影響を与えるか？
• RQ3 並列的かつ対称的なネットワークアーキテクチャは、画像再構築のためのステレオ対応関係を効果的に活用できるか？
• RQ4 単一のエピポール線ではなく、複数ラインの特徴集約を用いることで、ステレオSRにおけるアテンションベースの特徴アライメントが向上するか？
• RQ5 提案手法は、腹腔内視鏡データに対して、従来の単一画像およびステレオベースの超解像手法をどの程度上回るか？

主な発見

• 提案されたDCSSRnetは、2倍拡大時においてPSNR 43.610 dB、SSIM 0.9957を達成し、PASSR や StereoSR を含むすべての比較手法を上回った。
• 4倍拡大時においては、PSNR 35.598 dB、SSIM 0.9809を達成し、高倍率超解像において優れた性能を示した。
• 定性的な結果から、DCSSRnetはバイキューブ、SRCNN、VDSR、DRRN、PASSRと比較して、より鋭いエッジと現実的で詳細なテクスチャの詳細を再現した。
• 視差制約機構により、ステレオ対応関係が効果的に保持され、再構築画像におけるアーティファクトが低減し、構造的一致性が向上した。
• 左・右の画像が一貫して登録されていない場合に限って、本手法は限界を示し、ステレオ誤同期に敏感であることが判明した。
• アブレーションスタディにより、視差制約損失が性能を顕著に向上させることを確認し、ステレオ忠実性の維持におけるその役割を裏付けた。