[논문 리뷰] Blind deblurring for microscopic pathology images using deep learning networks

Cheng Jiang, Jun Liao외 7명|arXiv (Cornell University)|2020. 11. 24.

Advanced Image Processing Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 렌즈 교정 및 운동 블러를 자동으로 식별하고, 블러 특성에 대한 사전 지식 없이 두 개의 인코더-디코더 네트워크를 적용하여 날카 롸짐을 복원하는 딥러닝 기반의 블라인드 디블러링 방법을 제안한다. 이 방법은 잡음 없는 디블러핑을 달성하고 다양한 병리학적 조직 표본에서 후속 AI 진단 정확도를 크게 향상시킨다.

ABSTRACT

Artificial Intelligence (AI)-powered pathology is a revolutionary step in the world of digital pathology and shows great promise to increase both diagnosis accuracy and efficiency. However, defocus and motion blur can obscure tissue or cell characteristics hence compromising AI algorithms'accuracy and robustness in analyzing the images. In this paper, we demonstrate a deep-learning-based approach that can alleviate the defocus and motion blur of a microscopic image and output a sharper and cleaner image with retrieved fine details without prior knowledge of the blur type, blur extent and pathological stain. In this approach, a deep learning classifier is first trained to identify the image blur type. Then, two encoder-decoder networks are trained and used alone or in combination to deblur the input image. It is an end-to-end approach and introduces no corrugated artifacts as traditional blind deconvolution methods do. We test our approach on different types of pathology specimens and demonstrate great performance on image blur correction and the subsequent improvement on the diagnosis outcome of AI algorithms.

연구 동기 및 목표

• 디지털 병리학 영상에서 초점 불일치 및 운동 블러로 인한 AI 진단 성능 저하 문제를 해결하기 위해.
• 블러 유형이나 정도에 대한 사전 지식이 필요 없는 종단 간 딥러닝 프레임워크를 개발하기 위해.
• 伝통적인 블라인드 디컨볼루션 방법에서 흔히 발생하는 주름지문 잡음(코르가티드 아티팩트)을 제거하기 위해.
• 이미지 복원을 통해 병리 조직 영상 분석에 대한 AI 알고리즘의 정확도와 강인성을 향상시키기 위해.
• 다양한 병리학적 표본과 임상 환경에서의 방법 검증을 위해.

제안 방법

• 입력 영상에 존재하는 블러 유형을 식별하기 위해 딥러닝 분류기가 훈련된다.
• 두 개의 별도된 인코더-디코더 컨볼루션 신경망이 블러 제거를 위해 훈련되며, 독립적으로 또는 조합하여 사용할 수 있다.
• 이 방법은 종단 간 방식으로 작동하여 블러 영상에서 직접 날카로운 복원 영상으로 매핑한다.
• 아키텍처는 전통적인 블라인드 디컨볼루션 기법에서 흔히 발생하는 주름지문 잡음을 방지한다.
• 다양한 블러 유형과 염색 조건을 가진 다양한 미세망원 병리학 영상으로 모델을 훈련한다.
• 지표 블러 커널이나 명시적 블러 모델링이 필요 없어 진정한 블라인드 디블러핑을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 사전 지식 없이 병리학적 미세망원 영상의 블러 유형을 효과적으로 식별할 수 있는가?
• RQ2 종단 간 딥러닝 프레임워크가 블러진 병리학적 영상에서 미세한 조직 및 세포 구조를 복원할 수 있는가?
• RQ3 제안된 방법이 전통적인 블라인드 디컨볼루션보다 잡음 감소 및 영상 품질 유지를 더 잘하는가?
• RQ4 디블러핑이 후속 AI 진단 모델의 성능 향상에 어느 정도 기여하는가?
• RQ5 이 방법은 다양한 조직 유형, 염색 방법 및 영상 조건에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 고정밀도로 블러 유형을 식별하여 맞춤형 디블러핑 전략을 가능하게 한다.
• 원본 블러 영상 대비 복원된 영상은 더 뚜렷한 미세 구조와 명료성을 확보한다.
• 전통적인 블라인드 디컨볼루션 기법에서 흔히 발생하는 주름지문 잡음을 방지한다.
• 디블러핑은 병리학적 영상에서 후속 AI 진단 모델의 정확도 향상에 측정 가능한 기여를 한다.
• 다양한 병리학적 표본과 염색 프로토콜에 걸쳐 높은 일반화 능력을 보여준다.
• 종단 간 훈련 프레임워크를 통해 블러 커널 레이블이 없이도 효과적인 블라인드 디블러핑을 달성한다.