[논문 리뷰] Robust joint registration of multiple stains and MRI for multimodal 3D histology reconstruction: Application to the Allen human brain atlas

Adrià Casamitjana, Marco Lorenzi외 7명|arXiv (Cornell University)|2021. 04. 30.

Medical Image Segmentation Techniques참고 문헌 71인용 수 22

한 줄 요약

이 논문은 잠재 변형을 통해 공간 변형을 모델링함으로써 다중 조직학적 염색 및 MRI의 정확하고 견고한 병합 3차원 재구성 프레임워크를 비확률적 방법으로 제안한다. 접힘이나 찢어짐과 같은 잡음에 강인한 부드럽고 정확한 재구성을 달성하였으며, 앨런 인간 뇌 어트라스에서의 성공이 입증되었고, MNI 공간에 대한 정렬을 통해 다양한 어트라스 간 통합이 가능하다.

ABSTRACT

Joint registration of a stack of 2D histological sections to recover 3D structure (``3D histology reconstruction'') finds application in areas such as atlas building and validation of \emph{in vivo} imaging. Straightforward pairwise registration of neighbouring sections yields smooth reconstructions but has well-known problems such as ``banana effect'' (straightening of curved structures) and ``z-shift'' (drift). While these problems can be alleviated with an external, linearly aligned reference (e.g., Magnetic Resonance (MR) images), registration is often inaccurate due to contrast differences and the strong nonlinear distortion of the tissue, including artefacts such as folds and tears. In this paper, we present a probabilistic model of spatial deformation that yields reconstructions for multiple histological stains that that are jointly smooth, robust to outliers, and follow the reference shape. The model relies on a spanning tree of latent transforms connecting all the sections and slices of the reference volume, and assumes that the registration between any pair of images can be see as a noisy version of the composition of (possibly inverted) latent transforms connecting the two images. Bayesian inference is used to compute the most likely latent transforms given a set of pairwise registrations between image pairs within and across modalities. The framework is used for accurate 3D reconstruction of two stains (Nissl and parvalbumin) from the Allen human brain atlas, showing its benefits on real data with severe distortions. Moreover, we also provide the registration of the reconstructed volume to MNI space, bridging the gaps between two of the most widely used atlases in histology and MRI. The 3D reconstructed volumes and atlas registration can be downloaded from https://openneuro.org/datasets/ds003590. The code is freely available at https://github.com/acasamitjana/3dhirest.

연구 동기 및 목표

• 쌍별 조직학적 정렬의 한계, 예를 들어 '바나나 효과'와 'z-시프트 드리프트'를 해결하기 위해 외부 MRI 기반 참조를 통합한다.
• 심각한 조직 변형과 잡음이 존재하는 상황에서도 Nissl 및 parvalbumin 염색과 같은 다중 모달 조직학 영상의 정확하고 부드러운 3차원 재구성을 가능하게 한다.
• 일관성과 견고성을 향상시키기 위해 통합된 비확률적 모델을 사용해 다중 염색 및 MRI를 동시에 정렬한다.
• MNI 공간 정렬이 포함된 공개 가능한 고해상도 3차원 앨런 인간 뇌 어트라스 재구성을 제공함으로써 다양한 척도의 뇌영상 응용에 기여한다.

제안 방법

• 모든 조직학적 섹션과 MRI 슬라이스를 연결하는 잠재 변형 전환의 스패닝 트리 구조를 사용하여 일관된 재구성을 가능하게 한다.
• 쌍별 이미지 정렬을 잠재 전환의 노이즈 있는 조합으로 모델링하고, 베이지안 추론을 통해 가장 가능성 높은 전환을 추정한다.
• 두 가지 가능도 모델을 활용: 폐쇄형 최적화를 위한 가우시안(ℓ2 노름)과 외곽치에 대한 강인성을 확보하기 위한 라플라스(ℓ1 노름)로 선형 계획법을 활용한다.
• Nissl–MRI, Nissl–parvalbumin 등 다중 모달 정렬을 하나의 추론 프레임워크에 통합하여 일관성을 향상시킨다.
• 불규칙한 염색 샘플링을 가능하게 하기 위해 다중 대비 영상 간 관측 그래프를 모델링함으로써 재현성과 강인성을 증가시킨다.
• 전체 이차 관측 계산을 피하기 위해 효율적인 확장이 가능한 계층적 추론 전략을 사용한다.

실험 결과

연구 질문

• RQ1 잠재 공간 전환의 비확률적 모델이 조직학적 염색과 MRI를 함께 재구성함으로써 조직 잡음에 대해 강인성을 향상시킬 수 있는가?
• RQ2 다중 모달 3차원 조직학적 재구성에서 ℓ1-노름(Laplacian 가능도) 사용이 ℓ2-노름(Gaussian 가능도)에 비해 외곽치에 대해 강인성을 향상시키는 방식은 어떠한가?
• RQ3 이 프레임워크는 사전에 잡음 보정 없이도 비선형 변형, 예를 들어 접힘, 찢어짐, 염색 불일치 등을 얼마나 잘 보정할 수 있는가?
• RQ4 실제 인간 뇌 데이터를 바탕으로 한 검증에서 심각한 조직 변형이 존재하는 상황에서도 해부학적 정확성과 부드러움을 얼마나 잘 유지하는가?
• RQ5 이 프레임워크는 다양한 염색 간 정확하고 일관된 3차원 재구성을 가능하게 하고, 표준 MNI 공간에 대한 정렬을 통해 다양한 어트라스 간 통합을 어떻게 지원하는가?

주요 결과

• 앨런 인간 뇌 어트라스의 Nissl 및 parvalbumin 염색을 3차원 볼륨으로 재구성하는 데 성공하였으며, 심각한 잡음(예: 찢어짐, 접힘)이 존재하는 상황에서도 매끄러운 전이와 정확한 해부학적 정확성을 유지하였다.
• ℓ1-노름(Laplacian 가능도) 형식은 외곽치에 대해 뛰어난 강인성을 보였으며, 고외곽치 비율이 높은 시뮬레이션 테스트에서도 성능 저하가 관찰되지 않았다.
• 재구성된 조직학적 볼륨이 MNI 공간에 정확하게 정렬되어 실제 MRI 어트라스와 직접 비교할 수 있도록 하였다.
• 지표 기반 오차 지표에서 기준선 반복 정렬(IR) 및 최신 기술인 RegNet과 NiftyReg보다 우수한 성능을 보였으며, 특히 슬라이스 간 및 슬라이스 내 정렬에서 뛰어난 성능을 보였다.
• 잠재 전환의 스패닝 트리 구조는 오차 전파를 감소시켰으며, 국소적 정렬 오차가 인접 섹션이나 전체 볼륨에 영향을 주지 않음을 입증하였다.
• 계산적으로 효율적이며, 표준 8코어 CPU에서 약 150분 내로 3차원 재구성을 완료하였고, 다중 대비로 확장해도 런타임에 큰 증가가 없었다.