[논문 리뷰] Shadow Detection for Ultrasound Images Using Unlabeled Data and Synthetic Shadows

Suguru Yasutomi, Tatsuya Arakaki외 1명|arXiv (Cornell University)|2019. 08. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 6

한 줄 요약

이 논문은 레이블이 없는 데이터와 합성 영상의 그림자 정보를 활용하여 초음파 영상에 대한 자기지도 학습 기반 그림자 검출 방법을 제안한다. 제한된 오토인코더 아키텍처를 사용하며, 그림자와 콘텐츠를 분리하여 재구성한다. 이 방법은 지도 학습 기반의 베이스라인에 비해 지도 학습에 사용되는 정답 세그멘테이션 레이블이 전혀 필요 없음에도 불구하고 태반 심장 초음파 데이터에서 최신 기술 수준(SOTA)의 성능을 달성하여 IoU 0.340과 DICE 0.492의 성과를 기록하였다.

ABSTRACT

Medical ultrasound is widely used technique for diagnosing internal organs. As common artifacts, shadows often appear in ultrasound images. Detecting such shadows is curious because they prevent accurate diagnosis. In this paper, we propose a novel shadow detection method based on auto-encoding structure. It once separates an input image into a shadow image and a content image using two decoders and combines them to reconstruct the input. To lead the network into separating the input, we inject synthetic shadows into the input and make the network to predict them as the shadow image. Since we know the rough shape of shadows as basic domain knowledge, we can generate plausible shadows. These processes are achieved by using only unlabeled data. Experiments on ultrasound images for fetal heart diagnosis shows the effectiveness of the method.

연구 동기 및 목표

• 초음파 영상에서의 그림자 간섭 문제를 해결함으로써 진단 정확도와 영상 인식 성능 저하를 완화하고자 한다.
• 학습에 비용이 많이 드는 픽셀 수준의 레이블이 필요 없는 그림자 검출 방법을 개발하고자 한다.
• 합성 그림자와 레이블이 없는 데이터를 활용하여 도메인 특화된 최소한의 감독 하에 딥 러닝의 특징 추출 능력을 극대화하고자 한다.
• annotation 데이터가 부족한 저자원 환경에서 효과적인 그림자 검출을 가능하게 하고자 한다.
• 다양한 초음파 영상 촬영 조건(다양한 프로브 및 장기)에 걸쳐 강건한 성능 향상을 도모하고자 한다.

제안 방법

• 이 방법은 공유 인코더와 두 개의 디코더를 갖춘 제한된 오토인코더 아키텍처를 사용한다. 하나는 그림자 콘텐츠를 예측하기 위한 ($D_s$) 것이고, 다른 하나는 그림자 없는 콘텐츠를 재구성하기 위한 ($D_c$) 것이다.
• 입력 영상은 요소별 곱셈($\tilde{x} = x \circ x_s$)을 통해 합성 그림자로 증강되며, $x_s$는 유의미한 뼈에 의한 그림자 패턴을 반영하는 규칙 기반 원형 영역이다.
• 네트워크는 전체 영상에 대해 평균 제곱오차(MSE) 손실을 사용하여 입력 영상 $\hat{x} = \hat{x}_s \circ \hat{x}_c$ 를 재구성하도록 훈련된다.
• 합성 그림자 영역에만 특화된 손실 $l_s$ 가 적용되어 그림자 위치의 정확한 예측을 보장한다.
• 예측된 그림자가 너무 어두워지지 않도록 방지하기 위해 $l_{\text{sreg}}$ 를 통한 정규화가 이루어지며, 베타 분포의 NLL 손실 $l_c$ 는 $\hat{x}_c$ 에서 현실적인 콘텐츠 분포를 강제한다.
• 총 손실는 재구성, 그림자 예측, 정규화, 콘텐츠 현실성 손실의 조합으로 구성된다: $l = \lambda_{\text{AE}} l_{\text{AE}} + \lambda_s l_s + \lambda_{\text{sreg}} l_{\text{sreg}} + \lambda_c l_c$.

실험 결과

연구 질문

• RQ1 그림자 픽셀 수준의 레이블이 없이도 초음파 영상에서 그림자 검출을 효과적으로 학습할 수 있는가?
• RQ2 합성 그림자를 활용한 자기지도 학습 방법이 실제 초음파 영상으로의 일반화 성능는 얼마나 우수한가?
• RQ3 공유 인코딩을 갖는 분리된 오토인코더 아키텍처가 초음파 영상에서 그림자와 콘텐츠를 효과적으로 분리할 수 있는가?
• RQ4 도메인 특화 지식(예: 합성 그림자 패턴)을 통합함으로써 최소한의 감독 하에 검출 성능 향상이 가능한가?
• RQ5 제한된 레이블이 있는 경우, 이 방법은 완전히 지도 학습 기반 접근법보다 성능이 떨어지는가?

주요 결과

• 제안된 방법은 테스트 데이터에서 0.340 ± 0.132의 교차율(IoU)과 0.492 ± 0.161의 DICE 계수를 기록하여, 기준 기반 임계치 방법(0.229 ± 0.105)보다 뛰어난 성능을 보였다.
• 지도 학습 기반의 SegNet 베이스라인(0.338 ± 0.150)을 약간 뛰어넘어, 레이블이 제한된 환경에서도 효과적인 성능을 입증하였다.
• 정성적 결과를 통해 다양한 태반 심장 초음파 영상에서 다양한 그림자 패턴을 성공적으로 검출하였다.
• 훈련 시 정답 레이블을 전혀 사용하지 않았음에도 불구하고, 다양한 그림자 외형을 띤 실제 초음파 영상으로의 일반화 성능가 뛰어나게 나타났다.
• 어두운 해부학적 구조물(예: 양수, 심장 중격)을 잘못 그림자로 분류하는 경우가 있었으며, 이는 낮은 강도의 특징과 진짜 그림자 간의 구분 능력에 한계가 있음을 시사한다.
• 손실 구성 요소의 분석 결과, 베타 분포 NLL 손실과 그림자 정규화 손실이 재구성 품질 향상과 검출 정확도 향상에 중요한 역할을 한다는 것이 확인되었다.