[논문 리뷰] Deep Segmentation and Registration in X-Ray Angiography Video

Athanasios Vlontzos, Krystian Mikolajczyk|arXiv (Cornell University)|2018. 05. 16.

Advanced Neural Network Applications참고 문헌 15인용 수 12

한 줄 요약

이 논문은 자동으로 생성된 노이즈가 있는 레이블을 사용하여 X-ray 혈관 조영 영상에서 다중 클래스 의미 분할을 위한 약한 감독, 실시간 딥러닝 방법을 제안한다. 이중 U-Net 아키텍처에서 저수준의 이진 분할 및 광학 흐름을 활용함으로써, 기존 최상위 성능 U-Net 대비 20% 높은 정확도를 달성하면서도 90 fps로 처리하여 실시간 임상 적용이 가능하다.

ABSTRACT

In interventional radiology, short video sequences of vein structure in motion are captured in order to help medical personnel identify vascular issues or plan intervention. Semantic segmentation can greatly improve the usefulness of these videos by indicating exact position of vessels and instruments, thus reducing the ambiguity. We propose a real-time segmentation method for these tasks, based on U-Net network trained in a Siamese architecture from automatically generated annotations. We make use of noisy low level binary segmentation and optical flow to generate multi class annotations that are successively improved in a multistage segmentation approach. We significantly improve the performance of a state of the art U-Net at the processing speeds of 90fps.

연구 동기 및 목표

• 수동 레이블링이 제한된 의료 영상 분할 문제를 해결하기 위해 자동으로 생성된 레이블을 사용한 약한 감독 학습을 가능하게 하기 위해.
• 저대비, 노이즈가 많은 X-ray 혈관 조영 영상에서 혈관과 기구의 분할 정확도를 향상시키기 위해.
• 간판내 영상 치료에서의 임상적 구현을 위해 실시간 추론(90 fps)을 달성하기 위해.
• 시간적 일관성을 향상시켜 프레임 간 분할 안정성을 높이기 위해 이중 네트워크 아키텍처를 활용하기 위해.
• 비용이 많이 드는 수동 레이블링에 의존도를 줄이기 위해 이진 분할과 광학 흐름을 기반으로 다중 클래스 레이블을 생성하기 위해.

제안 방법

• 혈관 및 카테터 후보를 추출하기 위해 블랙 토파트 필터링과 연결 성분을 사용하여 초기 이진 분할을 생성한다.
• 연속 프레임 간 광학 흐름을 계산하여 운동 벡터를 추정하고 공간-시간 일관성을 향상시킨다.
• 공유 가중치를 사용하여 프레임 쌍 간에 훈련되는, 자동으로 생성된 다중 클래스 레이블을 기반으로 끝에서 끝까지 훈련된 이중 U-Net 아키텍처를 사용한다.
• 수동 지도 데이터가 아닌 노이즈가 있는 자동 생성 레이블을 사용하여 약한 감독 방식으로 네트워크를 훈련시킨다.
• 네트워크의 예측 결과를 활용하여 레이블 제안을 반복적으로 개선하는 다단계 정밀화 과정을 적용한다.
• 실제 혈관 조영 영상에서의 운동 변화에 대응하기 위해 기울임과 이동을 포함한 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 저수준 영상 처리와 광학 흐름에서 유도된 자동 생성된 노이즈가 있는 레이블이 수동 레이블이 없는 환경에서 딥 분할 네트워크 훈련에 효과적으로 활용될 수 있는가?
• RQ2 이중 U-Net 아키텍처가 동적인, 저대비 X-ray 혈관 조영 영상에서 시간적 일관성과 분할 정확도를 향상시킬 수 있는가?
• RQ3 지도 레이블이 부족한 상황에서 합성 레이블을 사용한 약한 감독 학습이 완전히 지도된 U-Net을 얼마나 뛰어넘을 수 있는가?
• RQ4 임상적 간판내 환경에서 고정확도 분할을 실시간으로 추론(90 fps)할 수 있는가?
• RQ5 운동 특화 변환을 적용한 데이터 증강이 동적인 혈관 영상에서 분할 성능에 어떤 영향을 미치는가?

주요 결과

• 약한 감독 방식으로 훈련된 이중 U-Net은 이진 분할에서 딱도스 점수 0.98을 기록하여 U-Net 및 연결 성분 필터링 기반 기준 모델들을 초월한다.
• 다중 클래스 분할에서, 기울임만 적용한 증강(Augm_2)을 사용한 제안된 이중 U-Net은 카테터 분할에 0.69, 혈관 분할에 0.54의 딱도스 점수를 기록하여 원래 U-Net 대비 20% 향상된 성능을 달성한다.
• 이 방법은 90 프레임/초로 혈관 조영 영상 시퀀스를 처리하여 실시간 임상 적용에 적합하다.
• 광학 흐름과 운동 벡터의 사용은 큰 비정규 운동이 있는 프레임 간에도 시간적 일관성과 분할 정확도를 크게 향상시킨다.
• 성능이 가장 뛰어난 모델은 오직 자동 생성 레이블만을 사용하여 고비용 수동 레이블링이 필요 없음을 입증한다.
• 연결 성분 후처리와 기울임만 적용한 증강 기법을 사용한 이중 U-Net이 가장 높은 종합 성능을 기록하여 제안된 훈련 파이프라인의 효과성을 입증한다.