[論文レビュー] Multi-Scale Structural-aware Exposure Correction for Endoscopic Imaging

Axel Garcia-Vega, Ricardo Espinosa+6 more|arXiv (Cornell University)|Oct 26, 2022

Image Enhancement Techniques被引用数 4

ひとこと要約

本論文は、LMSPEC損失関数に構造的類似性（SSIM）に配慮した項を追加することで、細かなテクスチャーや色の保持を図る、マルチスケールで構造に配慮した深層学習手法を提案する。この手法は、Endo4IEデータセット上で過光量および過小光量の画像に対して、それぞれ4.40%および4.21%の相対的SSIM向上を達成した一方で、低遅延推論を維持している。

ABSTRACT

Endoscopy is the most widely used imaging technique for the diagnosis of cancerous lesions in hollow organs. However, endoscopic images are often affected by illumination artefacts: image parts may be over- or underexposed according to the light source pose and the tissue orientation. These artifacts have a strong negative impact on the performance of computer vision or AI-based diagnosis tools. Although endoscopic image enhancement methods are greatly required, little effort has been devoted to over- and under-exposition enhancement in real-time. This contribution presents an extension to the objective function of LMSPEC, a method originally introduced to enhance images from natural scenes. It is used here for the exposure correction in endoscopic imaging and the preservation of structural information. To the best of our knowledge, this contribution is the first one that addresses the enhancement of endoscopic images using deep learning (DL) methods. Tested on the Endo4IE dataset, the proposed implementation has yielded a significant improvement over LMSPEC reaching a SSIM increase of 4.40% and 4.21% for over- and underexposed images, respectively.

研究の動機と目的

• AIベースの診断ツールの性能を低下させる、照明アーチファクト（過光量および過小光量）の深刻な課題に対処すること。
• 内視鏡画像の構造的およびテクスチャーディテールを保持しながら露出補正を行う、リアルタイムな深層学習ベースの画像強調手法を開発すること。
• 従来の手法が引き起こすテクスチャーや色のアーチファクトを軽減するため、LMSPECフレームワークに構造的類似性に配慮した損失関数を拡張すること。
• Endo4IEデータセット上で提案手法を評価し、過光量および過小光量領域における定量的指標と定性的な忠実度に焦点を当てる。
• コンピュータ支援内視鏡システムへの臨床的導入を想定した、堅牢で一般化可能な強調処理を実現すること。

提案手法

• 露出補正中に細かなテクスチャーや空間的ディテールの保持を最優先するために、LMSPEC損失関数に構造的類似性（SSIM）項を組み込むことで拡張する。
• 2段階のトレーニング戦略を採用：最初に128×128のパッチでトレーニングし、次に重みを転送して256×256のパッチでファインチューニングすることで特徴学習を向上させる。
• 2番目の段階で指定された識別器起動エポック（DSE）に達した段階で識別器を有効化し、GANベースのトレーニングを安定化させ、リアルさを向上させる。
• 過小光量（UE）、過光量（OE）、および統合（C）データサブセットごとに別々のモデルをトレーニングし、各サブセットに最適化されたハイパーパrameterを設定して性能を最大化する。
• 最適化された学習率、バッチサイズ、トレーニングエポックを用いたファインチューニングされた設定を最終モデルに採用し、露出タイプにわたる一般化性能を向上させる。
• U-Netベースのジェネレータに敵対的トレーニングを組み合わせ、マルチスケールのSSIM損失により知覚的品質を維持する。

Figure 1 : Strong illumination change example in almost consecutive frames of a colonoscopic image sequence. (a) This image was acquired in appropriate lighting conditions. (b) Few frames later, the image is overexposed in its lower left region and underexposed in the remaining frame part.

実験結果

リサーチクエスチョン

• RQ1 標準的なLMSPECと比較して、構造的類似性に配慮した損失関数は、内視鏡画像の露出補正におけるテクスチャーおよびディテールの保持を向上させることができるか？
• RQ2 提案手法は、過光量および過小光量の内視鏡画像において、SSIMおよびPSNRの観点でLMSPECを上回る性能を達成するか？
• RQ3 臨床的内視鏡において画像品質を向上させつつ、リアルタイム推論速度（例：8 FPS以上）を維持できるか？
• RQ4 異なるパッチサイズで行うマルチスケールトレーニングは、多様な照明アーチファクトにわたるモデルの一般化能力にどのように影響するか？
• RQ5 実世界の内視鏡シーケンスにおいて、ベースラインのLMSPECと比較して、この手法は色およびテクスチャーのアーチファクトをどの程度低減できるか？

主な発見

• 提案手法は、Endo4IEデータセット上で、過光量画像に対してベースラインのLMSPECモデルと比較して4.40%の相対的SSIM向上を達成した。
• 過小光量画像では、LMSPECと比較して4.21%の相対的SSIM向上を示し、細かな構造的ディテールの保持が向上していることが示された。
• ファインチューニングされたハイパーパrameterを用いて統合データ（C）でトレーニングされたモデルが、全指標でLMSPECおよびベースラインモデルを上回る最高の全体的性能を達成した。
• 定性的な結果から、提案手法はLMSPECと比較して、特にテクスチャーゾーンにおいてより現実的でアーチファクトのない画像を生成することが示された。
• 改善が見られたものの、一部の強調画像でわずかな色調のずれ（ハスキーのずれ）が観察されたため、追加の色の保持損失の導入が求められる。
• 推論スループットは8 FPSを達成しており、中程度のリアルタイム性能を示しているが、臨床的導入に向けたさらなる最適化が求められる。

Figure 2 : DL-mode. On the left: Laplacian pyramid decomposition over patches I’ with exposure artefacts and Gaussian pyramid decomposition over ground truth patches T . On the right: $\pazocal{L}_{pyr}$ is computed with the up-sampled output from sub-networks 1 , 2 and 3 , whereas $\pazocal{L}_{rec