[논문 리뷰] Recurrent Aggregation Learning for Multi-View Echocardiographic Sequences Segmentation

Ming Li, Weiwei Zhang외 6명|arXiv (Cornell University)|2019. 07. 24.

Cardiac Valve Diseases and Treatments참고 문헌 12인용 수 8

한 줄 요약

이 논문은 종단간 다중 시야 초음파 심장영상 시퀀스 분할 및 분류를 위한 순환 집계 학습(RAL) 프레임워크를 제안한다. 피라미드형 ConvBlocks를 활용해 다중 수준 및 다중 척도 특징을 추출하고 계층적 ConvLSTM을 통해 공간-시간 모델링을 수행함으로써, RAL은 분할과 분류를 상호 보완하는 双지점 집계 기반의 통합 구조를 구현한다. 제안된 방법은 다수의 제조사 및 병원에서 수집된 데이터셋에서 98.7%의 정확도, 91.9%의 Dice 점수, 뛰어난 시간적 안정성을 확보하여 최신 기술 수준을 초월한다.

ABSTRACT

Multi-view echocardiographic sequences segmentation is crucial for clinical diagnosis. However, this task is challenging due to limited labeled data, huge noise, and large gaps across views. Here we propose a recurrent aggregation learning method to tackle this challenging task. By pyramid ConvBlocks, multi-level and multi-scale features are extracted efficiently. Hierarchical ConvLSTMs next fuse these features and capture spatial-temporal information in multi-level and multi-scale space. We further introduce a double-branch aggregation mechanism for segmentation and classification which are mutually promoted by deep aggregation of multi-level and multi-scale features. The segmentation branch provides information to guide the classification while the classification branch affords multi-view regularization to refine segmentations and further lessen gaps across views. Our method is built as an end-to-end framework for segmentation and classification. Adequate experiments on our multi-view dataset (9000 labeled images) and the CAMUS dataset (1800 labeled images) corroborate that our method achieves not only superior segmentation and classification accuracy but also prominent temporal stability.

연구 동기 및 목표

• 제한된 레이블 데이터, 높은 노이즈, 큰 해부학적/시야 변동성 등에 기인한 다중 시야 초음파 심장영상 시퀀스 분할 과제를 해결하기 위해.
• 더 높은 내성 확보를 위해 동시에 분할 및 시야 분류를 수행하는 종단간 딥 러닝 프레임워크를 개발하기 위해.
• 공동 공간-시간 모델링 및 다중 시야 정규화를 통해 시간적 안정성을 향상하고 시야 간 불일치를 감소시키기 위해.
• 실세계의 다수 제조사 및 병원에서의 초음파 심장영상 시퀀스에서 뛰어난 분할 정확도와 임상 연관성을 확보하기 위해.

제안 방법

• 입력 초음파 심장영상에서 다중 수준 및 다중 척도 특징을 추출하기 위해 피라미드형 확장 밀도 컨볼루션 블록(ConvBlocks)을 활용한다.
• 프레임 간 공간-시간 의존성을 모델링하기 위해 계층적 ConvLSTM 네트워크를 적용하여 종단간 방식으로 장거리 시간적 모델링을 가능하게 한다.
• 분할 및 분류 브랜치가 상호 감독을 통해 다중 수준 및 다중 척도 특징을 공유하고 정제하는 이중 브랜치 집계 기반의 메커니즘을 도입한다.
• 다양한 제조사 및 영상 센터 간의 도메인 갭을 줄이고 일반화 능력을 향상시키기 위해 시야 간 깊은 특징 집계를 적용한다.
• 광학 흐름이나 사전 학습 모델에 의존하지 않고 분할 및 분류 목표를 동시에 최적화하는 종단간 학습 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 시간적 일관성을 유지하면서 다중 시야 초음파 심장영상 시퀀스를 효과적으로 분할할 수 있는가?
• RQ2 공간 및 시간 영역에서 다중 수준 및 다중 척도 특징을 어떻게 효과적으로 집계할 수 있는가? 이는 분할의 내성 향상에 기여하는가?
• RQ3 시야의 공동 분류가 분할 정확도 향상과 시야 간 불일치 감소에 어느 정도 기여하는가?
• RQ4 제안된 방법은 좌심실 이완기 용적 및 분출률 추정에 대해 높은 임상 연관성을 확보할 수 있는가?

주요 결과

• RAL은 다중 시야 초음파 심장영상 시퀀스 데이터셋에서 98.7%의 정확도와 91.9%의 Dice 점수를 기록하여 U-Net, ACNN, U-Net++를 뛰어넘는 성능을 확보했다.
• CAMUS 데이터셋에서 RAL은 이완기 용적에 대해 피어슨 상관계수 r = 0.952, 수축기 용적에 대해 r = 0.960, 분출률에 대해 r = 0.839로 높은 임상 연관성을 보였다.
• RAL은 이완기 용적에 대해 평균 절대 오차 8.8 ml, 수축기 용적에 대해 7.1 ml를 기록했으며, 편향은 각각 -7.5 ml 및 -3.8 ml였다.
• 시간적 안정성이 뛰어나 심장 사이클 전반에 걸쳐 정확도 및 Dice 점수의 변동이 최소화되었고, 중간 사이클 프레임에서만 중간 정도의 변동성이 관찰되었다.
• RAL은 0.933의 최고 수준의 분류 정확도를 확보하여 공유 특징 학습을 통한 효과적인 다중 시야 식별 능력을 입증했다.
• 이중 브랜치 집계 기반의 메커니즘이 시야 간 격차를 크게 감소시키고 이질적인 데이터 소스 간의 분할 일관성을 향상시켰다.