[논문 리뷰] Registration of Histopathogy Images Using Structural Information From Fine Grained Feature Maps

Dwarikanath Mahapatra|arXiv (Cornell University)|2020. 07. 04.

AI in cancer detection참고 문헌 113인용 수 9

한 줄 요약

이 논문은 사전 훈련된 세분화 네트워크에서 생성된 특징 맵의 세분화된 구조 정보를 활용하여 수동 레이블이 없는 상황에서도 병리 조직도 이미지 정렬을 향상시키는 자기지도 학습 방법을 제안한다. 이 방법은 클러스터링 기반의 가짜 세분화 맵을 손실 함수에 통합하여 정렬 정확도를 향상시키며, 훈련 또는 추론 중에 진정한 세분화 레이블이 필요 없이 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Registration is an important part of many clinical workflows and factually, including information of structures of interest improves registration performance. We propose a novel approach of combining segmentation information in a registration framework using self supervised segmentation feature maps extracted using a pre-trained segmentation network followed by clustering. Using self supervised feature maps enables us to use segmentation information despite the unavailability of manual segmentations. Experimental results show our approach effectively replaces manual segmentation maps and demonstrate the possibility of obtaining state of the art registration performance in real world cases where manual segmentation maps are unavailable.

연구 동기 및 목표

• 수동 세분화 레이블이 없는 상황에서 정확한 병리 조직도 이미지 정렬 문제를 해결한다.
• 감독 세분화에 의존하지 않고 깊이 학습된 특징에서 유도된 구조 정보를 통합하여 정렬 성능을 향상시킨다.
• 수동 레이블링이 비현실적인 실세계 임상 워크플로우에서 정렬의 실용적 구현을 가능하게 한다.
• 자기지도 학습 특징 맵이 정렬 프레임워크에서 진정한 세분화 맵을 효과적으로 대체할 수 있음을 입증한다.

제안 방법

• 사전 훈련된 의미 세분화 네트워크를 사용하여 기준 및 움직이는 병리 조직도 이미지에서 자기지도 학습 특징 맵을 추출한다.
• 특징 맵에 클러스터링(예: k-means)을 적용하여 관심 구조를 나타내는 가짜 세분화 맵을 생성한다.
• 이러한 가짜 세분화 맵 간의 구조 유사도를 정렬 손실 함수에 통합하여 변형 필드 학습을 안내한다.
• 원본 이미지와 가짜 세분화 맵을 U-Net 기반 네트워크에 입력하여 조밀한 변형 필드를 예측한다.
• 공간 변환 네트워크(StN)를 통해 변형 필드를 적용하여 움직이는 이미지를 기준 이미지에 정렬한다.
• 기본 이미지 유사도 손실과 클러스터링된 특징 맵 기반의 구조 유사도 손실을 조합하여 종합적인 손실을 사용해 정렬 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습 특징 맵이 병리 조직도 이미지 정렬에서 수동 세분화 맵을 효과적으로 대체할 수 있는가?
• RQ2 세분화된 특징 맵에서 유도된 구조 정보를 통합함으로써 진정한 레이블이 없는 상황에서 정렬 정확도는 어떻게 향상되는가?
• RQ3 제안된 방법이 수동 레이블이 필요 없는 기존 정렬 기반 기법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 자기지도 학습 특징의 클러스터링이 정확한 이미지 정렬을 안내할 수 있는 의미 있는 가짜 구조를 생성할 수 있는가?

주요 결과

• 제안된 방법은 수동 세분화 레이블이 전혀 필요 없이 병리 조직도 이미지 쌍에서 최신 기술 수준의 정렬 성능을 달성한다.
• 클러스터링된 특징 맵을 활용한 자기지도 학습 특징 맵은 단순히 이미지 강도 유사도에 의존하는 기준 기법보다 정렬 정확도가 크게 향상된다.
• 클러스터링된 특징 맵 기반의 구조 유사도 손실은 복잡한 무늬와 반복 패턴이 있는 영역에서 정렬 향상에 특히 효과적이다.
• 이 방법은 테스트 시 새로운 이미지에 잘 일반화되며, 새로운 데이터에 대해 재학습이 필요 없이 사전 훈련된 세분화 네트워크만 필요로 한다.
• 이론적 최적화 및 광범위한 하이퍼파rameter 튜닝에 대한 의존도를 줄여 전통적인 정렬 기법보다 빠른 추론을 가능하게 한다.
• 실험 결과는 자기지도 학습 특징 맵이 탄성 변형 추정을 정확하게 안내할 만큼 충분한 구조 정보를 포괄하고 있음을 입증한다.