[논문 리뷰] Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy

Zhaotao Wu, Jia Wei외 3명|arXiv (Cornell University)|2020. 01. 31.

Medical Image Segmentation Techniques인용 수 7

한 줄 요약

이 논문은 3D 간 분할 정확도를 크게 향상시키기 위해 프레임 보간법과 주의 메커니즘을 갖춘 GAN을 사용하여 연속적인 의료 영상 사이의 합성 중간 슬라이스를 생성하는 새로운 상호 슬라이스 이미지 증강 방법을 제안한다. 의료 영상 볼륨 내 공간 연속성을 활용하고, 적응형 주의를 갖춘 이중 판별자(전역 및 국소)를 적용함으로써 영상의 현실성과 분할에 유용한 특징의 정확성을 향상시켰으며, 연속된 슬라이스 사이에 세 개의 중간 슬라이스를 생성할 때 SLIVER07 및 CHAOS2019 데이터셋에서 최신 기술 수준의 Dice 스코어를 달성하였다.

ABSTRACT

We introduce the idea of inter-slice image augmentation whereby the numbers of the medical images and the corresponding segmentation labels are increased between two consecutive images in order to boost medical image segmentation accuracy. Unlike conventional data augmentation methods in medical imaging, which only increase the number of training samples directly by adding new virtual samples using simple parameterized transformations such as rotation, flipping, scaling, etc., we aim to augment data based on the relationship between two consecutive images, which increases not only the number but also the information of training samples. For this purpose, we propose a frame-interpolation-based data augmentation method to generate intermediate medical images and the corresponding segmentation labels between two consecutive images. We train and test a supervised U-Net liver segmentation network on SLIVER07 and CHAOS2019, respectively, with the augmented training samples, and obtain segmentation scores exhibiting significant improvement compared to the conventional augmentation methods.

연구 동기 및 목표

• 의료 영상 분할에서 학습 데이터의 부족 문제를 해결하기 위해 연속된 영상 사이의 합성 중간 슬라이스를 생성하는 것.
• 슬라이스 간 공간적 관계를 모델링함으로써 학습 샘플의 수뿐만 아니라 정보량을 증가시켜 분할 성능을 향상시키는 것.
• 이중 판별자 GAN 아키텍처와 주의 메커니즘을 활용하여 분할에 관련된 특징을 유지하는 동시에 합성 영상의 현실성을 향상시키는 것.
• 과도한 합성 노이즈를 유발하지 않으면서도 분할 정확도를 최대화하기 위한 최적의 중간 슬라이스 수를 규명하는 것.
• 실제 임상 데이터셋(SLIVER07 및 CHAOS2019)을 대상으로 방법을 검증하고, 다양한 영상 촬영 프로토콜 간의 일반화 능력을 입증하는 것.

제안 방법

• 입력 영상과 레이블을 동일한 공간 해상도로 변형하는 프레임 보간 기반 네트워크를 사용하여 두 연속된 axial 슬라이스 사이의 중간 의료 영상을 생성한다.
• 특히 간과 그 주변 구조와 관련된 해부학적 구조에 집중하기 위해 주의 메커니즘을 통합한 U-Net 기반 생성자 사용.
• 이중 판별자 GAN 아키텍처를 적용: 전역 판별자는 전체 영상의 진위성을 평가하고, 국소 판별자는 분할에 중요한 영역의 현실성을 점검한다.
• 국소 판별자 내 주의 네트워크는 분할에 유용한 특징을 자동으로 식별하고 강조함으로써 합성 영상의 특징 정확성을 향상시킨다.
• 두 판별자로부터의 적대적 손실과 레이블 일관성 유지에 기여하는 복원 손실을 사용하여 생성자를 엔드 투 엔드로 훈련한다.
• 중간 슬라이스의 수는 설정 가능하며, 다양한 수의 합성 슬라이스(1~5개)를 사용하여 증강된 데이터로 U-Net을 훈련하여 평가한다.

실험 결과

연구 질문

• RQ1 3D 의료 영상 볼륨에서 실질적인 중간 슬라이스를 생성하기 위해 보간 기반 기법을 효과적으로 적용할 수 있는가?
• RQ2 국소 판별자에 주의 메커니즘을 통합함으로써 분할 작업에 적합한 합성 영상의 품질이 향상되는가?
• RQ3 분할 정확도를 최대화하기 위해 최적의 중간 슬라이스 수는 얼마인가? 이는 과도한 노이즈나 왜곡을 유발하지 않는가?
• RQ4 기존의 데이터 증강 기법과 비교할 때, 실제 의료 영상 벤치마크에서 Dice 스코어 향상 측면에서 본 방법은 어떤 성능을 보이는가?
• RQ5 제안된 방법은 평가된 CT 데이터셋 외에도 CT와 MRI와 같은 다양한 영상 모odalities 및 데이터셋 간에 일반화 가능한가?

주요 결과

• 연속된 영상 사이에 세 개의 중간 슬라이스를 생성할 때, SLIVER07 데이터셋에서 평균 Dice 스코어 0.912(±0.012)를 기록하여 최고 성능을 달성하였다.
• CHAOS2019 데이터셋에서는 세 개의 보간된 슬라이스를 생성했을 때 평균 Dice 스코어 0.843(±0.014)를 기록하였으며, 다른 모든 설정보다 뛰어난 성능을 보였다.
• 세 개의 중간 슬라이스를 생성할 경우 분할 성능이 가장 우수하였으며, 네 개나 다섯 개로 증가시킬 경우 누적된 합성 노이즈와 실제 해부학적 구조에서의 이탈로 인해 정확도가 떨어졌다.
• 제거 실험 결과, 전역 및 국소 판별자 모두 합성 영상의 현실성과 분할에 유용한 특징의 정확성을 크게 향상시켰으며, 특히 국소 판별자와 주의 메커니즘이 해부학적 맥락을 효과적으로 유지하는 데 기여하였다.
• 주의 네트워크는 간과 그 주변 영역에 효과적으로 집중하였으며, 이는 정확한 분할을 위해 맥락적 특징이 필수적임을 보여주고, 모델이 이러한 특징을 효과적으로 포착하고 있음을 확인하였다.
• 기존의 데이터 증강 기법(예: 회전, 반전, 스케일링)과 비교했을 때, 본 방법은 샘플 수만 증가시키는 데 그치지 않고 특징 다양성과 공간 연속성까지 향상시키므로 우수한 성능을 보였다.