[논문 리뷰] Deep learning-enabled image quality control in tomographic reconstruction: Robust optical diffraction tomography

DongHun Ryu, YoungJu Jo외 7명|Figshare|2019. 03. 05.

Digital Holography and Microscopy참고 문헌 35인용 수 4

한 줄 요약

이 논문은 깊이 학습 기반의 품질 제어 시스템을 제안하여 광학 회절 단층촬영(Optical Diffraction Tomography)에서 결함이 있는 헬리오그램 데이터를 자동으로 탐지한다. 이는 깨끗한 이미지와 노이즈가 있는 이미지로 구성된 대규모 애너테이션 데이터셋을 기반으로 훈련된 컨볼루션 신경망을 사용한다. 모델은 테스트 정확도가 90% 이상을 기록하며, 전문가가 아닌 시각적 검사나 규칙 기반 방법을 모두 능가하며, 낮은 품질의 원시 데이터를 걸러내어 단층촬영 재구성 품질을 크게 향상시킨다.

ABSTRACT

In tomographic reconstruction, the image quality of the reconstructed images can be significantly degraded by defects in the measured two-dimensional (2D) raw image data. Despite the importance of screening defective 2D images for robust tomographic reconstruction, manual inspection and rule-based automation suffer from low-throughput and insufficient accuracy, respectively. Here, we present deep learning-enabled quality control for holographic data to produce robust and high-throughput optical diffraction tomography (ODT). The key idea is to distill the knowledge of an expert into a deep convolutional neural network. We built an extensive database of optical field images with clean/noisy annotations, and then trained a binary classification network based upon the data. The trained network outperformed visual inspection by non-expert users and a widely used rule-based algorithm, with > 90% test accuracy. Subsequently, we confirmed that the superior screening performance significantly improved the tomogram quality. To further confirm the trained model's performance and generalizability, we evaluated it on unseen biological cell data obtained with a setup that was not used to generate the training dataset. Lastly, we interpreted the trained model using various visualization techniques that provided the saliency map underlying each model inference.

연구 동기 및 목표

• 단층촬영 재구성에서 결함이 있는 2차원 원시 이미지 데이터에 대한 수동 또는 규칙 기반 필터링의 낮은 처리량과 정확도 부족 문제를 해결하기 위해.
• 딥 러닝을 활용한 자동화되고 확장 가능한 이미지 품질 제어 솔루션을 광학 회절 단층촬영(ODT) 분야에 개발하기 위해.
• 재구성 이전에 결함이 있는 입력 데이터를 제거하여 재구성된 단층영상의 강건성과 품질을 향상시키기 위해.
• 학습 데이터에 포함되지 않은 다양한 생물학적 세포 샘플과 이미징 설정에서도 모델의 일반화 능력을 확보하기 위해.
• 선택적 지도법(saliency maps)과 같은 해석 가능성 기법을 사용해 모델의 의사결정 과정을 해석하기 위해.

제안 방법

• 깨끗한 이미지와 노이즈가 있는 이미지에 대한 애너테이션을 포함한 대규모 광학 필드 이미지 데이터베이스를 구축하여 딥 러닝 모델을 훈련시켰다.
• 깨끗한 이미지와 결함이 있는 헬리오그램 데이터를 구분할 수 있도록 이진 분류 컨볼루션 신경망(CNN)을 훈련시켰다.
• 전문가의 애너테이션에서 유도된 지식 정제 기법을 사용하여 모델의 성능과 일반화 능력을 향상시켰다.
• 훈련된 모델을 단층촬영 재구성 이전에 원시 2차원 헬리오그램 데이터를 선별하는 데 적용했다.
• 모델의 예측을 해석하고 분류에 영향을 주는 핵심 특징을 식별하기 위해 선택적 지도법과 시각화 기법을 사용했다.
• 학습 데이터와 다른 이미징 설정에서 수집된 미사용 생물학적 세포 데이터를 대상으로 방법의 유효성을 검증했다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 광학 회절 단층촬영에서 결함이 있는 헬리오그램 데이터를 식별하는 데 있어 비전문가의 시각적 검사보다 뛰어난 성능을 보일 수 있는가?
• RQ2 딥 러닝 기반의 품질 제어 시스템은 단층촬영 재구성의 정확도와 강건성을 향상시킬 수 있는가?
• RQ3 학습 데이터에 포함되지 않은 새로운 생물학적 샘플과 이미징 조건에 대해 훈련된 모델의 일반화 능력은 어느 정도인가?
• RQ4 모델는 이미지 품질을 분류할 때 어떤 특징에 의존하는가? 이러한 특징들은 의미 있는 방식으로 해석될 수 있는가?
• RQ5 전문가의 애너테이션에서 유도된 지식 정제 기법은 이미지 품질 제어를 위한 딥 러닝 모델의 성능을 향상시킬 수 있는가?

주요 결과

• 딥 러닝 모델은 깨끗한 이미지와 결함이 있는 헬리오그램 이미지를 분류하는 데 있어 테스트 정확도가 90% 이상을 기록하였으며, 비전문가의 시각적 검사와 널리 사용되는 규칙 기반 알고리즘을 모두 능가하였다.
• 훈련된 모델을 원시 데이터 사전 선별에 활용함으로써 재구성된 단층영상의 품질이 뚜렷이 향상되었다.
• 학습 과정에서 사용된 이미징 설정과 다른 조건에서 수집된 새로운 생물학적 세포 데이터에 대해서도 모델가 잘 일반화되었다.
• 선택적 지도법 분석을 통해 모델가 헬리오그램의 관련 구조적 특징에 집중하고 있음을 확인하여 의미 있고 해석 가능한 의사결정 과정임을 입증하였다.
• 다양한 생물학적 샘플에 걸쳐 모델의 성능이 뛰어나고, 이는 고처리량 ODT 시스템에서의 실질적 도입 잠재력을 보여주었다.
• 딥 러닝 기반의 이미지 품질 제어 통합으로 수동 검사 의존도가 감소하였으며, 단층촬영 재구성 파이프라인 내에서 확장 가능한 자동화된 데이터 검증이 가능해졌다.