[논문 리뷰] Joint Deformable Registration of Large EM Image Volumes: A Matrix Solver Approach

Khaled Khairy, Gennady Denisov외 1명|arXiv (Cornell University)|2018. 04. 26.

Advanced Electron Microscopy Techniques and Applications참고 문헌 12인용 수 12

한 줄 요약

이 논문은 대규모 전자현미경 영상 볼륨의 동시 탄성 정렬을 위한 행렬 기반 최소 제곱 해법을 제안한다. 정규화된 선형 시스템으로서의 정렬 문제를 설정하여 확장 가능하고 정확하며 수렴 보장이 되는 최적화를 가능하게 한다. 직접 및 반복 선형 해법을 사용하여 첫 번째 전체 성체 과일파리 뇌의 267만 장의 영상을 고정밀도로 성공적으로 정렬하였으며, 반복적 접근 방식에 비해 속도와 정확도에서 뛰어난 성능을 보였다.

ABSTRACT

Large electron microscopy image datasets for connectomics are typically composed of thousands to millions of partially overlapping two-dimensional images (tiles), which must be registered into a coherent volume prior to further analysis. A common registration strategy is to find matching features between neighboring and overlapping image pairs, followed by a numerical estimation of optimal image deformation using a so-called solver program. Existing solvers are inadequate for large data volumes, and inefficient for small-scale image registration. In this work, an efficient and accurate matrix-based solver method is presented. A linear system is constructed that combines minimization of feature-pair square distances with explicit constraints in a regularization term. In absence of reliable priors for regularization, we show how to construct a rigid-model approximation to use as prior. The linear system is solved using available computer programs, whose performance on typical registration tasks we briefly compare, and to which future scale-up is delegated. Our method is applied to the joint alignment of 2.67 million images, with more than 200 million point-pairs and has been used for successfully aligning the first full adult fruit fly brain.

연구 동기 및 목표

• 기존 반복 해법이 대규모 EM 영상 정렬에서 겪는 확장성과 수렴 한계를 해결하기 위해.
• 일관된 선형 대수 공식을 통해 수백만 장의 영상 타일을 동시에 최적화할 수 있도록 하기 위해.
• 신뢰할 수 있는 초기 추정치가 없을 경우에도 안정적인 작동을 보장하기 위해 강성 모델 근사치를 명시적 정규화로 구성함으로써 강건한 방법을 제공하기 위해.
• 기존의 해법 전용 히우리스틱과 분리하여 확립된 선형 대수 해법을 활용함으로써 영상 정렬을 해법에 종속되지 않게 하기 위해.
• 하드웨어 제약 조건에 따라 소규모 직접 해법과 대규모 반복 해법을 모두 지원함으로써 유연한 배포를 가능하게 하기 위해.

제안 방법

• 정규화된 최소 제곱 시스템으로서의 정렬 문제를 설정: 최소화 ||D(Ax - b)||² + λ||Bx - d||², 여기서 x는 변환 매개변수를 나타낸다.
• 겹치는 타일 간의 점 쌍 대응 관계에서 큰 희소 선형 시스템을 구성하여 기능 매칭 오차와 정규화 제약 조건을 모두 포함한다.
• 신뢰할 수 있는 초기 타일 좌표가 없을 경우 강성 모델 근사치를 사전으로 사용하여 대규모 문제에 대한 안정적인 초기화를 가능하게 한다.
• 기존의 선형 대수 해법—직접 해법(예: PaStiX) 및 반복 해법(예: GMRES)—을 사용하여 시스템을 해석하며, 문제 크기에 따라 성능을 평가한다.
• 최종 해법에 대해 투명판 스플라인 왜곡을 적용하여 타일 형태를 유지하고 스티치된 몬타주에서의 불연속성을 방지한다.
• 모듈식 행렬 블록 구성 방식을 통해 이동, 강성, 애파인, 3차 다항식까지 임의의 변환 모델을 간편하게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 대규모 EM 영상 정렬에서 반복 해법보다 정확도, 속도, 수렴성 면에서 우수한 성능을 내기 위해 행렬 기반 공식화가 가능할 수 있는가?
• RQ2 타일의 방향성이나 척도에 대한 사전 지식이 전혀 없을 경우 어떻게 안정적인 정규화를 달성할 수 있는가?
• RQ3 기존의 선형 대수 해법을 사용하여 특화된 해법 로직 없이도 동시 정렬 문제를 해결할 수 있는 정도는 어느 정도인가?
• RQ4 이 방법은 수백만 장의 영상과 수억 개의 점 쌍을 포함하는 볼륨에까지 확장 가능한가?
• RQ5 정규화 매개변수 λ의 선택이 대규모 정렬에서 변형 안정성과 잔차 오차에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 전체 성체 과일파리 뇌의 267만 장의 EM 영상 정렬을 성공적으로 수행하여 고정밀도의 일관된 3차원 볼륨을 구현하였다.
• PaStiX와 같은 직접 해법이 반복 방법보다 CPU 시간과 해법 정밀도 면에서 뛰어나며, 특히 100만 장 이상의 타일을 포함한 대규모 시스템에서 두각을 나타냈다.
• 강성 모델 근사치를 명시적 정규화로 사용함으로써 신뢰할 수 없는 초기 타일 좌표가 존재하는 상황에서도 안정적인 수렴이 가능했다.
• 행렬 공식화 덕분에 제한 없이 다양한 변환 모델(비선형 포함, 예: 3차 다항식)을 간편하게 통합할 수 있었다.
• λ에 대한 매개변수 스윕 결과 정규화 조정의 실용성이 입증되었으며, 변형 측정치는 정렬 후 최소한의 면적 왜곡을 보였다.
• 반복적 접근 방식에 비해 타일당 점 매칭 잔차 오차가 낮아, 최소 제곱 수준에서의 정확도 향상이 확인되었다.