[논문 리뷰] Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer

Zhendong Liu, Xin Yang외 10명|arXiv (Cornell University)|2020. 02. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 5

한 줄 요약

이 논문은 파형 보정 전달과 적응형 인스턴스 정규화를 활용하여 초음파 영상의 외관 변화를 제거하는 빠르고 안정적이며 보편적인 스타일 전이 프레임워크인 WaveCT-AIN-D를 제안한다. 이는 실시간 고정밀 스타일 전이를 가능하게 하여 강력한 분할 성능을 제공한다. 이 프레임워크는 태반 두개부에서 94.05%의 Dice 점수, 태반 복부에서 97.31%의 Dice 점수를 기록하여 기존 방법들보다 정확도, 속도, 시각적 품질 면에서 모두 뛰어난 최신 기술 성능을 달성하였으며, 이미지당 0.11초의 실시간 추론를 유지한다.

ABSTRACT

Deep Neural Networks (DNNs) suffer from the performance degradation when image appearance shift occurs, especially in ultrasound (US) image segmentation. In this paper, we propose a novel and intuitive framework to remove the appearance shift, and hence improve the generalization ability of DNNs. Our work has three highlights. First, we follow the spirit of universal style transfer to remove appearance shifts, which was not explored before for US images. Without sacrificing image structure details, it enables the arbitrary style-content transfer. Second, accelerated with Adaptive Instance Normalization block, our framework achieved real-time speed required in the clinical US scanning. Third, an efficient and effective style image selection strategy is proposed to ensure the target-style US image and testing content US image properly match each other. Experiments on two large US datasets demonstrate that our methods are superior to state-of-the-art methods on making DNNs robust against various appearance shifts.

연구 동기 및 목표

• TGC, 프로브 설정, 기계적 변동으로 인한 예측 불가능한 외관 변화로 인해 딥 네트워크의 초음파 영상 분할 성능 저하 문제를 해결하기 위해.
• 외관 변화를 제거하면서도 구조적 세부 정보를 유지하는 빠르고 안정적이며 보편적인 스타일 전이 방법을 개발하기 위해.
• 정확도나 안정성 손실 없이 스타일 전이를 가속화하여 임상 환경에서 실시간 추론를 가능하게 하기 위해.
• 우수한 스타일-콘텐츠 매칭을 보장하는 효과적인 스타일 이미지 선택 전략을 설계하여 강건한 도메인 일반화를 확보하기 위해.
• 대상 도메인 애너테이션을 요구하지 않고 다양한 초음파 영상 조건에서 분할 모델의 일반화 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 Haar 웨이블릿 풀링과 적응형 인스턴스 정규화(AdaIN)를 사용하는 경량 스타일 전이 네트워크인 WaveCT-AIN을 통합하여, 빠르고 고정밀한 스타일 전이를 가능하게 한다.
• 다중 척도 스타일 특징을 참조 스타일 이미지로부터 추출하고, 스타일 조절 블록을 통해 콘텐츠 이미지로 전달하는 계층적 인코더-디코더 아키텍처를 채택한다.
• Haar 웨이블릿 풀링의 사용은 최소한의 구조적 손실로 정확한 재구성을 가능하게 하여 표준 맥스 풀링 대비 세밀한 디테일 보존에 유리하다.
• 새로운 스타일 선택 모듈은 콘텐츠-스타일 호환성 기반으로 소스 도메인 라이브러리에서 가장 적합한 스타일 이미지를 검색하여 안정적이고 최적화된 전달을 보장한다.
• 이 방법은 엔드 투 엔드로 훈련 가능하며, 어떤 분할 백본과도 호환되며, AdaIN 가속화를 통해 추론 시간을 0.07초로 단축시킨다.
• 임의의 스타일-콘텐츠 전이를 지원하여 예측 불가능한 외관 변화가 발생하는 개방형 임상 시나리오에 적합하다.

실험 결과

연구 질문

• RQ1 목표 도메인 애너테이션 없이도 보편적인 스타일 전이가 초음파 영상 분할에서 외관 변화를 효과적으로 줄이는데 적용될 수 있는가?
• RQ2 이미지의 구조적 세부 정보와 디테일를 유지하면서도 실시간 임상 스캐닝 요구 조건을 충족하기 위해 스타일 전이를 어떻게 가속화할 수 있는가?
• RQ3 스タイル 이미지 선택 전략이 스타일화된 분할 결과의 안정성과 성능에 미치는 영향은 어떠한가?
• RQ4 제안된 WaveCT-AIN-D 프레임워크는 분할 정확도와 추론 속도 측면에서 최신 기술 수준의 도메인 적응 및 스타일 전이 방법들과 비교해 어떻게 성능을 냈는가?
• RQ5 프레임워크는 튜닝 없이도 다양한 초음파 영상 조건, 예를 들어 TGC 설정의 변화 등에 대해 일반화될 수 있는가?

주요 결과

• WaveCT-AIN-D는 태반 두개부(FH) 데이터셋에서 94.05%의 최고 Dice 점수, 태반 복부(FA) 데이터셋에서 97.31%의 최고 Dice 점수를 기록하여 기준 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 FH에서 7.54 픽셀, FA에서 8.32 픽셀로 경계의 하우스도르프 거리(Hdb)를 감소시켜 분할 경계 정확도가 뛰어나다는 것을 나타냈다.
• 이미지당 0.11초의 런타임을 기록하여, WCT 2의 60배, STROTSS의 180배 빠르게 실시간 임상 요구 조건을 충족시켰다.
• 스타일화된 출력의 구조적 유사도-SSIM은 FH에서 79.81%, FA에서 78.55%에 도달하여 높은 시각적 정밀도와 안정성을 보여주었다.
• 제안된 스타일 선택 전략은 고정 스타일 전이 대비 2.5–3.5%의 Dice 점수 향상을 이끌어내어 콘텐츠와 스타일의 매칭 효능을 확인하였다.
• FH에서 30.63, FA에서 28.23의 PSNR 값은 최소한의 왜곡을 가지며 고품질의 스타일화된 이미지를 생성함을 의미하며, GAN 기반 및 반복적 방법들을 능가했다.