[논문 리뷰] Machine Vision Guided 3D Medical Image Compression for Efficient Transmission and Accurate Segmentation in the Clouds

Zihao Liu, Xiaowei Xu외 8명|arXiv (Cornell University)|2019. 04. 09.

Advanced Data Compression Techniques참고 문헌 45인용 수 11

한 줄 요약

이 논문은 인간의 시각 품질이 아닌 딥 러닝 기반 분할 정확도를 최적화하는 머신 비전 유도 3D 의료 영상 압축 프레임워크를 제안한다. 훈련된 분할 네트워크로부터 유도된 특징 중요도를 활용하여, 인간 시각 최적화 방법(예: JPEG-2000)이 간과하는 중요한 고주파 성분을 선택적으로 유지함으로써, 동일한 분할 정확도에서 최대 3배 높은 압축률 또는 동일한 압축 수준에서 유의미하게 향상된 정확도를 달성한다. HVSMR 2016 데이터셋에서의 성능을 입증하였다.

ABSTRACT

Cloud based medical image analysis has become popular recently due to the high computation complexities of various deep neural network (DNN) based frameworks and the increasingly large volume of medical images that need to be processed. It has been demonstrated that for medical images the transmission from local to clouds is much more expensive than the computation in the clouds itself. Towards this, 3D image compression techniques have been widely applied to reduce the data traffic. However, most of the existing image compression techniques are developed around human vision, i.e., they are designed to minimize distortions that can be perceived by human eyes. In this paper we will use deep learning based medical image segmentation as a vehicle and demonstrate that interestingly, machine and human view the compression quality differently. Medical images compressed with good quality w.r.t. human vision may result in inferior segmentation accuracy. We then design a machine vision oriented 3D image compression framework tailored for segmentation using DNNs. Our method automatically extracts and retains image features that are most important to the segmentation. Comprehensive experiments on widely adopted segmentation frameworks with HVSMR 2016 challenge dataset show that our method can achieve significantly higher segmentation accuracy at the same compression rate, or much better compression rate under the same segmentation accuracy, when compared with the existing JPEG 2000 method. To the best of the authors' knowledge, this is the first machine vision guided medical image compression framework for segmentation in the clouds.

연구 동기 및 목표

• 클라우드 기반 딥 러닝 파이프라인에서 영상 전송 지연이 클라우드 처리 시간을 초과하는 문제를 해결하기 위해.
• 인간 시각 최적화 압축(예: JPEG-2000)이 딥 뉴럴 네트워크(DNN) 기반 의료 영상 분할에 있어서 최적화되지 않을 수 있는지 조사하기 위해.
• 분할에 핵심적인 특징을 우선시하는 경량의 DNN 최적화 압축 프레임워크를 개발하기 위해.
• 머신 비전과 인간 시각이 의료 분할 작업에서 영상 품질에 대해 본질적으로 다른 요구사항을 가짐을 입증하기 위해.

제안 방법

• 프레임워크는 3D-JPEG 2000에 표준편차 계산(16개 서브밴드 기반)과 4변수 방정식 조합(식 4)의 해를 구하는 두 가지 경량 연산을 추가하여 개선하였다.
• 사전 훈련된 DNN(예: DenseVoxNet 또는 3D-DSN)을 사용하여 분할 정확도에 가장 중요한 영상 특징을 식별하고 유지한다.
• 분할 출력이 서브밴드 에너지 변화에 얼마나 민감한지 분석함으로써 특징 중요도를 계산하며, 조직 경계를 정의하는 고주파 성분에 집중한다.
• 압축은 이러한 고영향도 특징을 유지하면서 덜 관련성이 있는 정보는 기각함으로써 노이즈와 불필요한 정보를 효과적으로 필터링한다.
• 압축 및 복원 시간이 표준 JPEG-2000과 유사한 수준을 유지하기 위해 JPEG-2000의 대부분의 계산 유닛을 재사용한다(예: 512×512 영상당 약 0.12ms).
• 이 방법은 엔드 투 엔드로 훈련 가능하며, 기존의 클라우드 기반 의료 영상 분석 파이프라인에 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 인간 시각 최적화 압축(예: JPEG-2000)은 높은 시각적 품질을 유지하더라도 분할 정확도를 떨어뜨리는가?
• RQ2 의료 영상 분할 작업에서 인간 시각과 머신 비전의 특징 요구사항은 어떻게 다를까?
• RQ3 DNN 기반 분할에 가장 중요한 특징만 유지하는 압축 프레임워크를 설계할 수 있는가? 이는 정확도와 압축 효율성을 동시에 향상시킬 수 있는가?
• RQ4 이러한 머신 비전 유도 접근 방식은 기존의 JPEG-2000에 비해 압축률과 분할 정확도 측면에서 어느 정도 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 30× 압축률에서 제안된 방법은 심장근막 분할의 평균 Dice 점수를 0.834로 달성하여 원본(압축되지 않은) 영상과 동일한 성능을 보였고, JPEG-2000는 0.821에 그쳤다.
• 동일한 30× 압축률에서 제안된 방법은 심장근막 및 혈관공 분할에서 각각 0.013과 0.007의 Dice 점수 향상을 보이며 JPEG-2000를 초월했다.
• 동일한 분할 정확도(0.834의 Dice 점수)를 유지할 경우, 제안된 방법은 평균 30× 압축률을 달성하였고, 이는 JPEG-2000의 압축률보다 3배 높은 수준이다.
• 일부 사례에서는 제안된 방법을 사용한 압축 영상에서의 분할 정확도가 원본 영상의 정확도를 초월하기도 하였는데, 이는 노이즈 및 불필요한 특징을 효과적으로 필터링했기 때문이다.
• 300MB 영상과 22.79 Mbps 업로드 속도를 가정할 경우, 제안된 방법을 사용하면 영상 전송 및 분할의 총 서비스 시간이 JPEG-2000 대비 2.6배 감소하여 0.53초로 단축되었다.
• 프레임워크는 극히 미미한 계산 오버헤드만을 추가하였으며, 압축 및 복원 시간이 표준 JPEG-2000와 유사하게 유지되었다(예: 512×512 영상당 약 0.12ms).