[논문 리뷰] Rapid Whole Slide Imaging via Learning-based Two-shot Virtual Autofocusing

Qiang Li, Xianming Liu외 4명|arXiv (Cornell University)|2020. 03. 14.

Image Processing Techniques and Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 깊이 학습 기반의 두 장의 촬영 가상 자동 초점 조절(Two-shot Virtual Autofocusing, TSVA) 방법을 제안하여 빠른 전체 슬라이드 영상 촬영(Whole Slide Imaging, WSI)을 구현한다. 이 방법은 기계적 초점 조절을 제거하고, 단지 두 장의 초점에서 벗어난 영상만으로도 초점이 맞춘 영상을 복원하는 U-Net 유사 딥 네트워크를 사용한다. 이로 인해 최소한의 스캐닝 시간으로 고속도의 WSI를 구현하면서도 높은 영상 품질을 유지하며, U-Net 대비 평균 PSNR가 3.49 dB 향상되고 복원된 영상에서 세포 수 계산 오차는 평균 0.12로 매우 낮게 유지된다.

ABSTRACT

Whole slide imaging (WSI) is an emerging technology for digital pathology. The process of autofocusing is the main influence of the performance of WSI. Traditional autofocusing methods either are time-consuming due to repetitive mechanical motions, or require additional hardware and thus are not compatible to current WSI systems. In this paper, we propose the concept of extit{virtual autofocusing}, which does not rely on mechanical adjustment to conduct refocusing but instead recovers in-focus images in an offline learning-based manner. With the initial focal position, we only perform two-shot imaging, in contrast traditional methods commonly need to conduct as many as 21 times image shooting in each tile scanning. Considering that the two captured out-of-focus images retain pieces of partial information about the underlying in-focus image, we propose a U-Net-inspired deep neural network based approach for fusing them into a recovered in-focus image. The proposed scheme is fast in tissue slides scanning, enabling a high-throughput generation of digital pathology images. Experimental results demonstrate that our scheme achieves satisfactory refocusing performance.

연구 동기 및 목표

• 반복적인 기계적 z-스택를 사용하는 전통적인 WSI 자동 초점 조절 방법의 시간 소모 문제를 해결하기 위해.
• 스캔 중 자동 초점 조절을 오프라인 학습 기반 영상 복원으로 대체하여 고정밀 기계 시스템이 필요 없도록 하기 위해.
• 타일당 영상 촬영 횟수를 21회에서 단 두 장으로 줄여 고속도 WSI를 가능하게 하기 위해.
• 촬영 횟수를 줄였음에도 불구하고 기계적 조절 없이도 높은 영상 품질과 정확도를 유지하여 후속 분석에 영향을 주지 않기 위해.

제안 방법

• 방법은 두 장의 초점에서 벗어난 영상을 대칭적인 초점 왜곡 오프셋 주변에서 촬영한 후, U-Net 유사 딥 네트워크(TSVA)를 사용해 복합적으로 융합한다.
• 초기 초점 위치는 첫 번째 타일에서 전체 z-스택를 통해 확보되며, 이후 타일들에 대한 기준으로 사용된다.
• 후속 타일들에 대해서는 단지 두 장의 영상만 촬영한다—초점 평면 이하와 이상의 초점 왜곡 오프셋에서 각각 촬영하여 스캐닝 시간을 크게 단축시킨다.
• 촬영된 두 장의 초점에서 벗어난 영상들은 오프라인 학습 기반 방식으로 TSVA 네트워크에 입력되어 고품질의 초점이 맞춘 영상을 복원한다.
• 네트워크는 초점에서 벗어난 영상와 해당하는 초점이 맞춘 영상의 대규모 쌍 데이터를 기반으로 훈련되어, 왜곡된 외관에서 초점이 맞춘 외관으로의 매핑을 학습한다.
• 기존 WSI 플랫폼과 호환되며, 표준 두 장의 촬영 외에 추가 하드웨어가 필요하지 않다.

실험 결과

연구 질문

• RQ1 학습 기반 복원을 사용하는 두 장의 촬영 전략이 기존의 다수 촬영 z-스택 방법에 비해 유사하거나 더 우수한 자동 초점 조절 성능을 달성할 수 있는가?
• RQ2 두 촬영 영상 간의 초점 왜곡 오프셋이 다양할 경우, 제안된 가상 자동 초점 조절 방법의 성능은 어떻게 변하는가?
• RQ3 단일 영상 입력 대비 이중 입력 영상의 사용이 복원된 초점이 맞춘 영상 품질에 얼마나 기여하는가?
• RQ4 다양한 조직 슬라이드 유형과 영상 조건에서 이 방법의 견고성은 어느 정도인가?
• RQ5 복원된 초점이 맞춘 영상가 충분한 품질을 유지하여 세포 수 계산과 같은 정확한 후속 분석에 활용될 수 있는가?

주요 결과

• 제안된 TSVA 방법은 이중 입력을 사용할 경우 표준 U-Net 대비 평균 PSNR가 3.49 dB 향상되어 뛰어난 영상 복원 품질을 입증한다.
• 가장 높은 PSNR 향상은 ±0.5 μm의 초점 왜곡 오프셋에서 발생하며, 이는 실무에서 가장 흔히 예측되는 초점 위치이기도 하다.
• 방법은 강력한 일반화 성능을 유지하여 다양한 출처의 테스트 세트에서 일관된 성능을 보이며, U-Net 대비 평균 PSNR가 3.49 dB 향상된다.
• 복원된 초점이 맞춘 영상에서의 평균 세포 수 계산 오차는 단지 0.12로 매우 낮아, 후속 진단 정확도에 거의 영향을 주지 않는다.
• 타일당 영상 촬영 횟수를 21회에서 단 두 장으로 줄여 스캐닝 속도를 크게 향상시키면서도 높은 영상 품질을 유지한다.
• 주관적 평가 결과, 특히 ±1 μm의 초점 왜곡 범위에서 U-Net보다 TSVA가 더 적은 구조적 오류를 유발한다.