[논문 리뷰] Convolutional neural networks that teach microscopes how to image

Roarke Horstmeyer, Richard Y. Chen외 2명|arXiv (Cornell University)|2017. 09. 21.

Cell Image Analysis Techniques참고 문헌 22인용 수 42

한 줄 요약

이 논문은 말라리아에 감염된 적혈구를 위한 현미경 조명 패턴과 영상 분류를 동시에 최적화하는 물리 기반 컨volution 신경망(P-CNN)을 제안한다. CNN의 초기 레이어에 광학적 영상 형성 모델을 통합함으로써, 최적의 LED 조명 패턴과 분류기 모두를 학습하며, 기존의 밝은 필드 현미경 또는 푸리에 페치로깅보다 5–10% 높은 분류 정확도를 달성한다.

ABSTRACT

Deep learning algorithms offer a powerful means to automatically analyze the content of medical images. However, many biological samples of interest are primarily transparent to visible light and contain features that are difficult to resolve with a standard optical microscope. Here, we use a convolutional neural network (CNN) not only to classify images, but also to optimize the physical layout of the imaging device itself. We increase the classification accuracy of a microscope's recorded images by merging an optical model of image formation into the pipeline of a CNN. The resulting network simultaneously determines an ideal illumination arrangement to highlight important sample features during image acquisition, along with a set of convolutional weights to classify the detected images post-capture. We demonstrate our joint optimization technique with an experimental microscope configuration that automatically identifies malaria-infected cells with 5-10% higher accuracy than standard and alternative microscope lighting designs.

연구 동기 및 목표

• 딥러닝에서 영상 촬영과 후처리 간 격차를 줄이기 위해 이미징 하드웨어와 분류 모델을 동시에 최적화한다.
• 특징 강화를 위한 최적의 조명을 학습하는 CNN을 사용하여 말라리아에 감염된 적혈구 탐지 정확도를 향상시킨다.
• 특히 조명과 같은 현미경의 물리적 파rameter가 분류 성능에 상당한 영향을 미친다는 것을 입증한다.
• CNN이 영상 분류뿐만 아니라 이미징 설정 자체를 설계할 수 있는 프레임워크를 개발한다.
• 이미징 하드웨어와 기계학습 기반 분류 파이프라인을 공동 최적화하여 보다 효율적이고 정확한 진단을 가능하게 한다.

제안 방법

• CNN의 첫 번째 레이어에 광학적 영상 형성 모델을 통합하여, 조명 패턴을 학습 가능한 파rameter로 간주한다.
• 텐서 곱셈 레이어를 사용하여 조명 패턴과 샘플 투과율 간의 상호작용을 모델링하고 영상 형성 과정을 시뮬레이션한다.
• 물리적 모델링 이후 표준 CNN 아키텍처(컨볼루션, 풀링, 완전 연결 레이어 포함)를 사용하여 분류를 수행한다.
• 역전파를 사용하여 전체 네트워크를 종단 간(end-to-end)으로 훈련시키며, 동시에 조명 가중치와 분류기 파rameter를 최적화한다.
• 과적합을 방지하기 위해 최종 완전 연결 레이어와 읽기 출력 레이어 사이에 드롭아웃(0.5 확률)을 적용한다.
• 특정 하이퍼파ram터(β₁=0.9, β₂=0.999, ε=1e-8, 스텝 사이즈 10⁻⁴ 또는 10⁻³)를 사용한 Adam 최적화를 훈련에 적용한다.

실험 결과

연구 질문

• RQ1 CNN이 현미경의 조명 패턴과 영상 분류를 동시에 최적화할 수 있는가?
• RQ2 표준 밝은 필드 영상에 비해 최적의 조명 패턴을 학습함으로써 분류 정확도가 향상되는가?
• RQ3 영상 형성의 물리적 모델을 CNN에 통합하여 하드웨어 최적화를 이끌 수 있는가?
• RQ4 공동 최적화 프레임워크의 성능은 푸리에 페치로깅과 같은 대체 영상 기법과 비교해 어떻게 되는가?
• RQ5 딥러닝을 사용하여 특정 분류 작업에 맞게 조명 설계를 얼마나 맞춤형으로 조정할 수 있는가?

주요 결과

• 제안된 P-CNN 프레임워크는 표준 밝은 필드 현미경보다 플라스모디움 파라시티카에 감염된 적혈구 탐지에서 5–10% 높은 분류 정확도를 달성했다.
• 네트워크는 분류를 위한 특징 가시성을 향상시키기 위해 양수 및 음수 가중치를 가진 두 가지 별도의 LED 조명 패턴을 학습했다.
• 더 높은 해상도를 제공하지만 더 많은 영상을 필요로 하며 효율성이 떨어지는 푸리에 페치로깅보다도 성능이 뛰어났다.
• 종단 간 훈련을 통한 조명과 분류의 공동 최적화로 일반화 능력과 특징 감도가 향상되었다.
• 프레임워크는 물리적 영상 파rameter가 후속 분류 성능에 결정적인 영향을 미치며, 네트워크가 직접 이를 학습할 수 있음을 입증했다.
• 이 방법은 위상 플레이트, 스펙트럼 설정, 편광 설정과 같은 다른 영상 파rameter로도 확장 가능하다.