[논문 리뷰] T-Net: Encoder-Decoder in Encoder-Decoder architecture for the main vessel segmentation in coronary angiography.

Tae Joon Jun, Jihoon Kweon외 2명|arXiv (Cornell University)|2019. 05. 10.

Retinal Imaging and Analysis참고 문헌 21인용 수 3

한 줄 요약

T-Net는 특징 맵 크기 간에 여러 개의 스킵 연결을 가능하게 함으로써 관상동맥 조영 영상에서 혈관 세분화를 향상시키는 인코더-디코더 인-인코더-디코더(EDiED) 아키텍처를 제안한다. 단일 블록 내에서 풀링 및 업샘플링을 전략적으로 배치함으로써 저수준에서 고수준까지의 특징을 디코더의 시작 부분에 직접 제공함으로써, U-Net보다 0.170 높은 0.890의 Dice 유사도 계수를 달성한다.

ABSTRACT

In this paper, we proposed T-Net containing a small encoder-decoder inside the encoder-decoder structure (EDiED). T-Net overcomes the limitation that U-Net can only have a single set of the concatenate layer between encoder and decoder block. To be more precise, the U-Net symmetrically forms the concatenate layers, so the low-level feature of the encoder is connected to the latter part of the decoder, and the high-level feature is connected to the beginning of the decoder. T-Net arranges the pooling and up-sampling appropriately during the encoder process, and likewise during the decoding process so that feature-maps of various sizes are obtained in a single block. As a result, all features from the low-level to the high-level extracted from the encoder are delivered from the beginning of the decoder to predict a more accurate mask. We evaluated T-Net for the problem of segmenting three main vessels in coronary angiography images. The experiment consisted of a comparison of U-Net and T-Nets under the same conditions, and an optimized T-Net for the main vessel segmentation. As a result, T-Net recorded a Dice Similarity Coefficient score (DSC) of 0.815, 0.095 higher than that of U-Net, and the optimized T-Net recorded a DSC of 0.890 which was 0.170 higher than that of U-Net. In addition, we visualized the weight activation of the convolutional layer of T-Net and U-Net to show that T-Net actually predicts the mask from earlier decoders. Therefore, we expect that T-Net can be effectively applied to other similar medical image segmentation problems.

연구 동기 및 목표

• U-Net의 단일 스킵 연결로 인해 발생하는 특징 융합 제한 문제를 해결한다.
• 모든 인코더 특징(저수준에서 고수준까지)을 디코더의 초기 단계에 조기에 제공함으로써 더 효과적인 특징 전파를 가능하게 한다.
• 조영 영상에서 주요 관상동맥 세 개의 세분화 정확도를 향상시킨다.
• 유사한 계층적 특징 요구 조건을 가진 다른 의료 영상 세분화 작업에 적용 가능한 확장 가능한 아키텍처를 설계한다.

제안 방법

• 작은 인코더-디코더가 메인 인코더-디코더 내부에 통합된 EDiED(인코더-디코더 인-인코더-디코더) 아키텍처를 도입한다.
• 단일 블록 내에서 인코딩 및 디코딩 동안 풀링 및 업샘플링 연산을 재구성하여 다양한 크기의 특징 맵을 생성한다.
• 모든 인코더 특징 맵에서 디코더의 시작 부분으로 다수의 스킵 연결을 설정함으로써 조기에 포괄적인 특징 융합을 가능하게 한다.
• 대칭적인 인코딩 및 디코딩 경로를 활용하고 적응형 특징 맵 크기 관리를 통해 공간적 및 의미적 정보를 유지한다.
• 관상동맥 혈관의 픽셀 수준 세분화를 위해 이진 교차 엔트로피 손실을 사용하여 네트워크를 종단 간(end-to-end)으로 훈련시킨다.
• 컨볼루션 레이어 활성화를 분석하고 모델이 초기 디코더 예측에 주목하는지 검증하기 위해 시각화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 다중 스킵 연결을 갖춘 개선된 인코더-디코더 아키텍처가 관상동맥 조영 영상에서 혈관 세분화 정확도를 향상시킬 수 있는가?
• RQ2 디코더의 시작 부분에 저수준 및 고수준 특징을 동시에 제공하면 U-Net의 단일 스킵 연결보다 더 나은 마스크 예측 성능을 내는가?
• RQ3 T-Net 아키텍처는 주요 관상동맥 혈관 세분화에서 U-Net과 비교해 Dice 유사도 계수(DSC) 측면에서 어떻게 성능을 내는가?
• RQ4 활성화 패턴을 통해 볼 때, 모델이 정확한 세분화를 위해 초기 디코더 레이어를 얼마나 효과적으로 활용하는가?

주요 결과

• T-Net는 주요 혈관 세분화 작업에서 0.815의 Dice 유사도 계수(DSC)를 달성하였으며, 이는 U-Net의 성능보다 0.095 높은 수치이다.
• 최적화된 T-Net 버전은 DSC 0.890을 기록하여 U-Net 대비 0.170 향상된 성능을 보였다.
• 컨볼루션 레이어 가중치의 시각화 결과 T-Net가 마스크 예측에 초기 디코더 레이어를 활용하고 있음을 확인하여 효과적인 특징 활용을 입증하였다.
• T-Net의 다중 척도 스킵 연결 메커니즘은 다양한 추상화 수준 간의 더 강력한 특징 융합을 가능하게 하였다.
• 정확한 경계 검출이 필요한 의료 영상 세분화 작업에 대해 뛰어난 일반화 성능을 보였다.
• T-Net의 아키텍처는 유사한 계층적 특징 요구 조건을 가진 다른 의료 영상 응용 분야로도 이식 가능하다.