[논문 리뷰] TAN: Temporal Affine Network for Real-Time Left Ventricle Anatomical Structure Analysis Based on 2D Ultrasound Videos

Sihong Chen, Kai Ma외 1명|arXiv (Cornell University)|2019. 04. 01.

Cardiac Valve Diseases and Treatments참고 문헌 29인용 수 7

한 줄 요약

이 논문은 2차원 심장 초음파 영상에서 실시간으로 좌심실(LV) 분할을 향상시키기 위해 시간적 일관성을 활용하는 광역 흐름 유도(annotation refinement)와 다중 작업 학습을 통한 고리점 검출 및 심장 평면 분류를 통해 경량 시간적 애핀 네트워크(TAN)를 제안한다. 이 방법은 52 fps에서 91.14%의 Dice 점수를 달성하여 움직임 일관성과 난이도 높은 경우(흐린 경계선 및 잡음)에 대한 강건성을 크게 향상시킨다.

ABSTRACT

With superiorities on low cost, portability, and free of radiation, echocardiogram is a widely used imaging modality for left ventricle (LV) function quantification. However, automatic LV segmentation and motion tracking is still a challenging task. In addition to fuzzy border definition, low contrast, and abounding artifacts on typical ultrasound images, the shape and size of the LV change significantly in a cardiac cycle. In this work, we propose a temporal affine network (TAN) to perform image analysis in a warped image space, where the shape and size variations due to the cardiac motion as well as other artifacts are largely compensated. Furthermore, we perform three frequent echocardiogram interpretation tasks simultaneously: standard cardiac plane recognition, LV landmark detection, and LV segmentation. Instead of using three networks with one dedicating to each task, we use a multi-task network to perform three tasks simultaneously. Since three tasks share the same encoder, the compact network improves the segmentation accuracy with more supervision. The network is further finetuned with optical flow adjusted annotations to enhance motion coherence in the segmentation result. Experiments on 1,714 2D echocardiographic sequences demonstrate that the proposed method achieves state-of-the-art segmentation accuracy with real-time efficiency.

연구 동기 및 목표

• 2차원 심장 초음파 영상에서의 정확하고 실시간 좌심실(LV) 분할 과제를 해결하기 위해, 동적인 형태 변화, 낮은 대비 및 영상 잡음 등으로 인해 어려움을 겪는 문제를 다루는 것.
• 루카스-카나데 광학 흐름을 사용하여 새로운 시간적 일관성 모듈(TCM)을 설계하여 심장 사이클 전반에 걸친 분할 움직임의 일관성을 향상시키는 것.
• 공유 인코더를 사용하여 좌심실 분할, 고리점 검출 및 심장 평면 인식을 동시에 학습시켜 분할의 강건성과 정확도를 향상시키는 것.
• 경량 MobileNetV2 백본과 엔드 투 엔드 학습을 통해 임상 적용에 적합한 실시간 추론 성능을 확보하는 것.

제안 방법

• TAN 프레임워크는 공유 인코더를 사용하여 좌심실 분할, 미트랄 밸브 고리점 검출 및 심장 평면 분류를 다중 작업 학습 방식으로 함께 학습함으로써 일반화 능력과 감독 성능을 향상시킨다.
• 이전 프레임에서 예측된 좌심실의 세 개의 고리점(정점 및 두 개의 미트랄 고리점)을 기반으로 시간적 애핀 변환을 각 프레임에 적용하여 심장 운동으로 인한 형태 및 크기 변화를 안정화시킨다.
• 시간적 일관성 모듈(TCM)은 루카스-카나데 광학 흐름을 사용하여 학습 중 인접 프레임 간의 운동 일관성을 강제로 보정함으로써 정답 어노테이션을 개선한다.
• 최적의 하드 예외 마이닝(OHEM)을 적용하여 어려운 경계 영역에 집중함으로써 노이즈 또는 모호한 영역에서의 분할 정확도를 향상시킨다.
• 경량 MobileNetV2 백본을 사용하여 엔드 투 엔드 학습을 수행함으로써 표준 하드웨어에서 실시간 추론 성능를 확보한다.
• 각 프레임에 대해 단일 순방향 추론을 사용함으로써 추론 속도를 가속화하였으며, GPU에서는 52 fps를 달성하고 U-Net 및 PSPNet과 비교해 CPU에서 20배 이상의 속도 향상을 보였다.

실험 결과

연구 질문

• RQ1 좌심실 분할, 고리점 검출 및 심장 평면 분류와 같은 관련 작업 간의 표현을 공유하는 통합 다중 작업 네트워크가 분할 정확도 향상에 기여할 수 있는가?
• RQ2 광학 흐름 기반 어노테이션 보정이 심장 사이클 전반에 걸친 좌심실 분할의 시간적 일관성 향상에 얼마나 효과적인가?
• RQ3 시간적 애핀 변환은 심장 운동으로 인한 형태 및 크기 변화에 대한 민감도를 얼마나 감소시키는가?
• RQ4 경량 네트워크가 실시간 추론 속도를 유지하면서도 최신 기술 수준의 분할 성능를 달성할 수 있는가?

주요 결과

• 제안된 TAN 프레임워크는 좌심실 분할에서 91.14%의 Dice 계수를 달성하여, 기존 방법보다 정확도가 높으면서도 단일 GPU에서 52 fps의 실시간 추론 성능를 유지를 하였다.
• 시간적 일관성 모듈(TCM)은 가장 어려운 10%의 케이스에서 Dice 점수를 약 10% 향상시켜 흐린 경계선이나 잡음이 있는 어려운 영상에서의 강건성 향상을 뚜렷이 입증하였다.
• TCM 적용 시 평균 표면 거리(ASD)는 37%에서 48%로 향상되어 분할 윤곽의 일관성 향상과 외곽선 오류 감소를 나타낸다.
• TCM를 사용할 경우 U-Net, PSPNet 및 MobileNetV2에서 모두 16–22%의 분할 지수(SI) 향상을 기록하여 운동 추적의 시간적 일관성 향상가 확인되었다.
• 다중 작업 학습 설정은 단일 작업 기반 베이스라인 대비 고리점 검출 및 평면 분류 정확도를 10% 이상 향상시켰으며, 정확도는 98.25% 대비 87.13%로 개선되었다.
• TAN은 Tesla P40 GPU에서 52 fps의 추론 속도를 기록하였고, U-Net 및 PSPNet 대비 CPU에서 20배 이상의 속도 향상을 보였으며, 임상 적용에 적합한 뛰어난 실시간 효율성을 입증하였다.