[論文レビュー] Rapid Whole Slide Imaging via Learning-based Two-shot Virtual Autofocusing

Qiang Li, Xianming Liu+4 more|arXiv (Cornell University)|Mar 14, 2020

Image Processing Techniques and Applications参考文献 27被引用数 4

ひとこと要約

本論文は、迅速な全スライド画像化（WSI）のための学習ベースの2ショット仮想自己焦点合わせ（TSVA）手法を提案する。この手法は、機械的焦点合わせを排除し、U-Netにインspiredされた深層ネットワークを用いて、わずか2枚の合焦でない画像から合焦画像を回復する。この方法により、最小限の走査時間で高スループットのWSIが実現され、画像品質も維持される。実験では、U-Netよりも平均3.49 dBのPSNR向上が達成され、回復画像の平均細胞数誤差はわずか0.12にとどまる。

ABSTRACT

Whole slide imaging (WSI) is an emerging technology for digital pathology. The process of autofocusing is the main influence of the performance of WSI. Traditional autofocusing methods either are time-consuming due to repetitive mechanical motions, or require additional hardware and thus are not compatible to current WSI systems. In this paper, we propose the concept of extit{virtual autofocusing}, which does not rely on mechanical adjustment to conduct refocusing but instead recovers in-focus images in an offline learning-based manner. With the initial focal position, we only perform two-shot imaging, in contrast traditional methods commonly need to conduct as many as 21 times image shooting in each tile scanning. Considering that the two captured out-of-focus images retain pieces of partial information about the underlying in-focus image, we propose a U-Net-inspired deep neural network based approach for fusing them into a recovered in-focus image. The proposed scheme is fast in tissue slides scanning, enabling a high-throughput generation of digital pathology images. Experimental results demonstrate that our scheme achieves satisfactory refocusing performance.

研究の動機と目的

• 繰り返し機械的zスタックを要する従来のWSI自己焦点合わせ手法の時間的コストを低減すること。
• スキャン中の自己焦点合わせを、追加のハードウェアを必要としないオフライン学習ベースの画像回復に置き換えることで、高精度な機械的システムの必要性を排除すること。
• 1タイルあたりの画像取得枚数を21枚からわずか2枚に削減することで、高スループットのWSIを実現すること。
• 取得枚数を削減したにもかかわらず、機械的調整なしで高い画像品質と下流分析の正確性を維持すること。

提案手法

• 本手法は、初期の焦点面の両側で対称的な合焦外のオフセットで撮影された2枚の合焦外画像を融合する、U-Netにインspiredされた深層ニューラルネットワーク（TSVA）を用いる。
• 最初のタイルでフルzスタックを撮影し、その結果から初期の焦点位置を特定し、以降のタイルの基準とする。
• 以降の各タイルに対しては、推定焦点面より下と上にそれぞれオフセットをとった2枚の画像を撮影する。これにより、走査時間が顕著に短縮される。
• 撮影された2枚の合焦外画像をTSVAネットワークに入力し、オフラインで学習ベースの方法で高品質な合焦画像を再構築する。
• ネットワークは、合焦外とそれに対応する合焦画像のペアで構成される大規模なデータセットを用いて学習され、合焦外から合焦への外観のマッピングを学習する。
• 本手法は、追加のハードウェアを必要とせず、標準的な2ショット撮影に加えて既存のWSIプラットフォームと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの回復を用いた2ショット撮影戦略は、従来の複数ショットzスタック法と同等またはそれ以上の自己焦点合わせ性能を達成できるか？
• RQ2 2枚の撮影画像間の合焦外オフセットが異なる場合、本手法の性能はどのように変化するか？
• RQ3 1枚の入力画像と比較して、2枚の入力画像を用いることで、回復された合焦画像の品質はどの程度向上するか？
• RQ4 本手法は、多様な組織スライドタイプや撮影条件に対し、どの程度の耐性を示すか？
• RQ5 回復された合焦画像は、細胞数の正確な下流分析に十分な品質を維持できるか？

主な発見

• 2枚の入力画像を用いた本手法TSVAは、標準的なU-Netよりも平均3.49 dBのPSNR向上を達成し、優れた画像再構築品質を示した。
• PSNRの最大向上は±0.5 μmの合焦外オフセットで観察され、実際の応用で最も一般的に推定される焦点位置と一致する。
• 本手法は優れた一般化性能を示し、多様なソースからの異なるテストセットにおいても一貫した性能を発揮し、U-Netよりも平均3.49 dBのPSNR向上を達成した。
• 回復された合焦画像における平均細胞数誤差はわずか0.12であり、下流診断の正確性にほとんど影響がないことを示している。
• 1タイルあたりの画像取得枚数を21枚から2枚に削減することで、走査が顕著に高速化され、高品質な画像品質を維持した。
• 主観的評価では、特に±1 μmの合焦外範囲において、TSVAがU-Netよりも構造的誤差が少ないことが確認された。