[논문 리뷰] Automatic Nonrigid Histological Image Registration with Adaptive Multistep Algorithm

Marek Wodziński, Andrzej Skalski|arXiv (Cornell University)|2019. 04. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 8인용 수 4

한 줄 요약

이 논문은 ANHIR 챌린지에서 비강성 조직형광 현미경 이미지 정렬을 위한 강건하고 완전 자동화된 방법을 제시한다. 사전처리, 다중 초기 정렬 전략, 그리고 네 가지 병렬 비강성 정렬 알고리즘(국소 애핀, Demons, MIND Demons, TPS)을 결합한 방법으로, 자동 선택 전략을 통해 다양한 알고리즘 중 최고의 결과를 선별하여 평균 중앙 rTRE가 0.38%이며, 강건성은 99.792%를 기록하였다.

ABSTRACT

In this paper, we present a short description of the method proposed to ANHIR challenge organized jointly with the IEEE ISBI 2019 conference. We propose a method consisting of preprocessing, initial alignment, nonrigid registration algorithms and a method to automatically choose the best result. The method turned out to be robust (99.792% robustness) and accurate (0.38% average median rTRE). The main drawback of the proposed method is relatively high computation time. However, this aspect can be easily improved by cleaning the code and proposing a GPU implementation.

연구 동기 및 목표

• 결손 데이터와 강도 변동이 있는 다모드 조직형광 현미경 이미지의 자동 비강성 정렬 과제를 해결한다.
• 사람의 간섭이나 파rameter 조정 없이도 강건한 완전 자동화된 파이프라인을 개발한다.
• 특히 구조적 불일치나 강도 차이가 있는 어려운 조직형광 현미경 이미지 쌍 간의 정확도를 향상시킨다.
• ANHIR 챌린지에서 중앙 rTRE가 주요 평가 기준이 되므로, 어려운 케이스에서도 최소한의 오차를 기록하는 높은 성능을 달성한다.

제안 방법

• 회색조로 변환, 스무딩, 해상도에 맞는 스케일(1024–4096 픽셀)로 다운샘플링, 강도 분포를 균형 있게 맞추기 위한 히스토그램 매칭, 팞딩, 강도 반전을 포함한 이미지 사전처리.
• SIFT, ORB, SURF 기반 특징 추출과 RANSAC를 사용해 유사성 변환을 추정하고, 임계값 처리된 마스크의 Dice 계수를 기반으로 최상의 결과를 선택하는 초기 정렬 수행.
• 첫 번째 방법이 실패할 경우, Li 임계값 처리와 반복적 기울기 최적화를 통한 SSD 및 애핀 정렬을 사용한 대체 초기 정렬 수행.
• 네 가지 비강성 정렬 알고리즘을 병렬로 적용: 밝기/대trast 보정과 결손 데이터 확률 추정을 포함한 국소 애핀 정렬, 대칭 복합 Demons, MIND 디스크립터 간의 SSD를 사용한 MIND Demons, 초기 정렬에서 유도된 관건점 매칭을 기반으로 한 TPS.
• 고정 이미지의 마스크 영역과 해당 변환된 이동 이미지 간의 MIND SSD가 가장 낮은 결과를 자동으로 선택하여 최적의 비강성 결과를 선정.
• 실패 탐지 메커니즘을 사용해 어려운 케이스를 식별하고 처리하여, 전체 481개의 학습 쌍에서 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 결손 데이터와 강도 차이가 있는 어려운 조직형광 현미경 이미지 쌍에서, 다모드이자 완전 자동화된 비강성 정렬 파이프라인이 높은 정확도와 강건성을 달성할 수 있는가?
• RQ2 다양한 비강성 정렬 알고리즘(국소 애핀, Demons, MIND Demons, TPS)을 조합하고 자동 결과 선택 전략을 적용했을 때, 그 효과는 어떠한가?
• RQ3 히스토그램 매칭은 초기 정렬에 얼마나 기여하는가? 특히 다모드 이미지에서는 언제 손해를 줄 수 있는가?
• RQ4 간단한 TPS 방법이 초기 특징 매칭에 기반해 복잡한 알고리즘보다 어려운 케이스에서 더 뛰어난 성능을 낼 수 있는가? 어떤 조건에서 그러한 성능 향상이 발생하는가?
• RQ5 병렬로 여러 알고리즘을 실행한 후 자동으로 결과를 선택함으로써, 중앙 rTRE가 주요 평가 기준인 챌린지 환경에서 최종 순위가 어떻게 향상되는가?

주요 결과

• 모든 학습 쌍에서 평균 중앙 rTRE가 0.38%로 나타나 정확도가 매우 높음을 확인하였다.
• 강건성은 99.792%로, 481개의 이미지 쌍 중 단 한 번의 실패만 기록하여 강력한 신뢰성을 입증하였다.
• 국소 애핀 정렬 방법은 대부분의 케이스에서 효과적이었지만, Demons와 MIND Demons의 추가로 중앙 rTRE가 0.04% 향상되었고, 어려운 케이스 3개를 수정하였다.
• TPS 보간 방법은 계산 비용이 낮지만, 다른 알고리즘이 실패한 가장 어려운 케이스에서 오차를 크게 감소시켰다.
• 고정 이미지의 마스크 영역과 변환된 이동 이미지 간의 MIND SSD를 기반으로 한 최종 결과 선택 전략은 각 쌍에 대해 가장 우수한 성능을 보인 알고리즘을 효과적으로 식별하였다.
• 국소 애핀 방법이 단일 코어로 구현되어 계산 시간이 길었음에도 불구하고, Demons와 MIND Demons와 같은 빠른 알고리즘에 대해 최대 4096 픽셀까지 해상도를 높임으로써 성능이 크게 향상되었다.