[논문 리뷰] Cryo-CARE: Content-Aware Image Restoration for Cryo-Transmission Electron Microscopy Data

Tim-Oliver Buchholz, Mareike A. Jordan외 2명|arXiv (Cornell University)|2018. 10. 12.

Advanced Electron Microscopy Techniques and Applications인용 수 6

한 줄 요약

Cryo-CARE는 고신호대노이즈(SNR) 기준값이 없는 상태에서도 작동하는 콘텐츠 인식 딥러닝 기반의 노이즈 제거 방법을 제안한다. 이는 오직 노이즈가 많은 등록된 이미지 쌍만을 사용하여, 고신호대노이즈 기준값이 필요로 하지 않는다. 이 방법은 2D 투영도 및 3D 톰로그램에서 대비 향상을 가능하게 하여 수동 검토와 자동화된 후속 분석, 특히 밀도 분할 분석까지 향상시킨다.

ABSTRACT

Multiple approaches to use deep learning for image restoration have recently been proposed. Training such approaches requires well registered pairs of high and low quality images. While this is easily achievable for many imaging modalities, e.g. fluorescence light microscopy, for others it is not. Cryo-transmission electron microscopy (cryo-TEM) could profoundly benefit from improved denoising methods, unfortunately it is one of the latter. Here we show how recent advances in network training for image restoration tasks, i.e. denoising, can be applied to cryo-TEM data. We describe our proposed method and show how it can be applied to single cryo-TEM projections and whole cryo-tomographic image volumes. Our proposed restoration method dramatically increases contrast in cryo-TEM images, which improves the interpretability of the acquired data. Furthermore we show that automated downstream processing on restored image data, demonstrated on a dense segmentation task, leads to improved results.

연구 동기 및 목표

• 고신호대노이즈(SNR) 기준값이 없는 코어-TEM에서 표준 이미지 복원 네트워크 학습이 어려운 문제를 해결한다.
• 실세계 이미지 노이즈 제거에서 유래한 노이즈 불변 학습 프레임워크를 활용하여 코어-TEM에서 콘텐츠 인식 이미지 복원을 가능하게 한다.
• 인간 레이블링 기준값이 필요로 하지 않고도 이미지의 해석 가능성 향상과 자동화된 분석 지원을 위한 방법을 개발한다.
• 단일 투영도 및 전체 톰그래픽 볼륨에서 Cryo-CARE의 유효성을 입증한다.
• 복원된 데이터가 분할 및 재구성과 같은 후속 작업에서 측정 가능한 향상 효과를 가져오는지 확인한다.

제안 방법

• 고신호대노이즈(SNR) 기준값이 필요로 하지 않는다는 점을 고려해, U-Net 기반 노이즈 제거 네트워크를 저신호대노이즈 이미지 쌍의 등록된 쌍으로만 학습시켜 CARE 프레임워크를 코어-TEM에 적응시킨다.
• 실제 이미지 노이즈 제거에서 유래한 Noise2Noise 원리를 활용하여 독립적인 노이즈 실현이 있는 노이즈 많은 이미지 쌍으로 네트워크를 학습시켜 콘텐츠 인식 복원을 가능하게 한다.
• 세 가지 데이터 제약 조건에서 학습한다: P2P-ip(획득된 이미지 쌍), P2P-tap(톰그래피에서의 기울기 각 쌍), T2T(선량 분할 영화 프레임).
• 두 개의 복원 출력을 등록된 입력 쌍에서 얻어 각 픽셀 평균을 적용하여 복원 정밀도를 향상시킨다.
• 커널 크기 3, 인코더/디코더 블록 각 2개, 최종 레이어에 선형 활성화 함수를 사용하는 U-Net 아키텍처를 사용한다.
• 평균 제곱오차 손실을 사용하고, 추출된 패치의 10%를 검증에 사용하며, 오픈소스 CARE 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 고신호대노이즈(SNR) 기준값이 없는 상황에서도 콘텐츠 인식 이미지 복원 기법이 코어-TEM 데이터에 효과적으로 적용될 수 있는가?
• RQ2 선량 분할 영화나 기울기-시리즈에서 유래한 등록된 노이즈 많은 이미지 쌍으로 학습할 경우, 중앙값 필터링이나 NAD와 같은 단순 기준 대비 더 뛰어난 노이즈 제거 성능을 보일 수 있는가?
• RQ3 Cryo-CARE를 통해 3D 톰그래픽 재구성에서 누락된 웨지 아티팩트를 줄일 수 있는가?
• RQ4 Cryo-CARE를 통한 이미지 복원이 분할과 같은 자동화된 후속 작업에서 측정 가능한 향상 효과를 가져오는가?
• RQ5 Cryo-CARE는 인간 레이블링이 없는 마이크로스코프에서 획득한 데이터만으로 학습이 가능한가?

주요 결과

• Cryo-CARE는 코어-TEM 2D 투영도 및 3D 톰로그램에서 대비와 해상도를 크게 향상시켜 해석 가능성 향상에 기여한다.
• P2P-tap 및 T2T 학습 방식은 중앙값 필터링 및 NAD와 같은 단순 기준 대비 정성적·정량적 평가에서 뛰어난 성능을 보인다.
• 선량 분할 영화 프레임에서 T2T 학습은 P2P 기반 접근법 대비 톰그래픽 재구성에서 누락된 웨지 아티팩트를 줄이는 데 효과적이다.
• 푸리에 쉘 상관관계(FSC) 분석을 통해 Cryo-CARE 복원 데이터는 특히 T2T 선량 분할 재구성에서 해상도와 노이즈 대비 신호 비율 향상이 확인된다.
• Cryo-CARE 복원 톰로그램에 적용된 자동 분할 워크플로우는 원본 데이터 대비 정밀도와 재현율이 뚜렷이 향상된다.
• 이 방법은 이미지 복원과 후속 분석 간의 효과적인 분리가 가능하게 하여, 종단 간 파ip라인에서 대규모 레이블링 데이터 세트의 필요성을 줄인다.