[논문 리뷰] Impact of loss functions on the performance of a deep neural network designed to restore low-dose digital mammography

Hongming Shan, Rodrigo de Barros Vimieiro외 3명|arXiv (Cornell University)|2021. 11. 12.

Digital Radiography and Breast Imaging참고 문헌 60인용 수 5

한 줄 요약

이 연구는 저선량 디지털 유방촬영 영상을 복원하기 위해 계층적 스킵 연결을 갖춘 수정된 ResNet 아키텍처를 제안한다. 다양한 손실 함수를 평가한 결과, 인지적 손실(PL4)이 전량의 영상과 유사한 노이즈 수준을 달성하면서도 신호 편향을 최소화하여 MSE 및 MAE보다 영상 세부 정보와 진단 품질을 더 잘 유지함을 확인하였다.

ABSTRACT

Digital mammography is still the most common imaging tool for breast cancer screening. Although the benefits of using digital mammography for cancer screening outweigh the risks associated with the x-ray exposure, the radiation dose must be kept as low as possible while maintaining the diagnostic utility of the generated images, thus minimizing patient risks. Many studies investigated the feasibility of dose reduction by restoring low-dose images using deep neural networks. In these cases, choosing the appropriate training database and loss function is crucial and impacts the quality of the results. In this work, a modification of the ResNet architecture, with hierarchical skip connections, is proposed to restore low-dose digital mammography. We compared the restored images to the standard full-dose images. Moreover, we evaluated the performance of several loss functions for this task. For training purposes, we extracted 256,000 image patches from a dataset of 400 images of retrospective clinical mammography exams, where different dose levels were simulated to generate low and standard-dose pairs. To validate the network in a real scenario, a physical anthropomorphic breast phantom was used to acquire real low-dose and standard full-dose images in a commercially avaliable mammography system, which were then processed through our trained model. An analytical restoration model for low-dose digital mammography, previously presented, was used as a benchmark in this work. Objective assessment was performed through the signal-to-noise ratio (SNR) and mean normalized squared error (MNSE), decomposed into residual noise and bias. Results showed that the perceptual loss function (PL4) is able to achieve virtually the same noise levels of a full-dose acquisition, while resulting in smaller signal bias compared to other loss functions.

연구 동기 및 목표

• 저선량 디지털 유방촬영 영상 복원에서 다양한 손실 함수가 심층 신경망 성능에 미치는 영향을 조사하기 위해.
• 저선량 환경에서 개선된 영상 복원을 위한 계층적 스킵 연결을 갖춘 수정된 ResNet 아키텍처를 개발하기 위해.
• 실제 임상 데이터를 사용하여 물리적 인간형 유방 페트리프란을 활용해 일반화 능력을 검증하기 위해.
• 이미지 품질과 노이즈 특성 측면에서 기존에 발표된 분석 모델과 제안된 심층 학습 기반 복원 방법을 비교하기 위해.
• 저선량 유방촬영 복원을 위한 손실 함수의 종합적 평가를 통해 노이즈 감소와 구조적 보존 사이의 최적의 트레이드오프를 규명하기 위해.

제안 방법

• 저선량 영상 복원에서 특징 학습과 기울기 흐름을 향상시키기 위해 계층적 스킵 연결을 갖춘 수정된 ResNet 아키텍처를 설계하였다.
• 400건의 후행적 임상 유방촬영 검사에서 영상 패치(총 256,000개)를 추출하여 다양한 선량 수준에서 저선량 및 전량 영상 쌍을 시뮬레이션하였다.
• 다양한 손실 함수를 평가하였으며, 평균 제곱 오차(MSE), 평균 절대 오차(MAE), 사전 학습된 VGG-16 네트워크의 특징을 사용한 인지적 손실(PL1에서 PL4까지)이 포함되었다.
• 실제 저선량 및 전량 영상을 상업용 유방촬영 시스템에서 물리적 인간형 유방 페트리프란을 사용해 확보하여, 훈련된 모델의 실제 환경 검증을 가능하게 하였다.
• 신호 대 잡음비(SNR)와 평균 정규화된 제곱 오차(MNSE)를 사용하여 객관적인 이미지 품질 평가를 수행하였으며, 잔여 노이즈 및 편향 성분으로 분해하였다.
• 합성 데이터와 실제 페트리프란 데이터를 모두 사용하여 심층 학습 모델을 훈련하고 검증함으로써 일반화 능력과 강건성을 평가하였다.

실험 결과

연구 질문

• RQ1 저선량 디지털 유방촬영 영상 복원에서 어떤 손실 함수가 노이즈 감소와 구조적 세부 정보 보존 사이의 최적의 균형을 이룹니까?
• RQ2 인지적 손실 함수는 MSE 및 MAE와 같은 전통적 손실 함수에 비해 진단용 이미지 품질 측면에서 어떻게 성능을 발휘합니까?
• RQ3 계층적 스킵 연결을 갖춘 수정된 ResNet 아키텍처는 표준 아키텍처에 비해 복원 성능을 얼마나 향상시킵니까?
• RQ4 합성 저선량 데이터로 훈련된 심층 학습 모델은 물리적 페트리프란을 통한 검증을 통해 실제 임상 영상으로 일반화될 수 있습니까?
• RQ5 SNR 및 편향 성분 측면에서 심층 학습 기반 복원 방법은 기존 분석 모델과 어떻게 비교됩니까?

주요 결과

• 인지적 손실 함수인 PL4는 전량 촬영과 거의 동일한 노이즈 수준을 달성하였으며, 노이즈 억제 측면에서 MSE 및 MAE를 크게 능가하였다.
• PL4는 다른 손실 함수에 비해 가장 낮은 신호 편향을 기록하여, MSE 및 MAE보다 해부학적 세부 구조를 더 효과적으로 보존하였다.
• 인지적 손실 함수(특히 PL4)는 MSE 및 MAE보다 영상 세부 정보를 더 잘 보존하였으며, 후자들은 과도한 평탄화와 미세한 구조 손실을 유발하였다.
• 심층 학습 기반 방법은 이미지당 9.0초의 처리 시간을 기록하여 기존 분석 모델의 16.5초와 유사하여 임상 적용 가능성을 보였다.
• 네트워크는 실제 페트리프란 데이터로도 잘 일반화되어 훈련 데이터셋에 과적합되지 않았으며, 노이즈 특성의 변동성에 강건함을 입증하였다.
• 인지적 손실과 계층적 스킵 연결의 조합은 뛰어난 복원 품질을 가능하게 하여, 정량적 및 시각적 평가에서 분석 모델의 성능을 거의 그대로 재현하였다.