[논문 리뷰] Choice of training label matters: how to best use deep learning for quantitative MRI parameter estimation

Sean C. Epstein, Timothy Bray외 2명|arXiv (Cornell University)|2022. 05. 11.

Non-Destructive Testing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 양성된 지도 학습을 통해 정량적 MRI 파rameter 추정에서 저편향 성능을 달성할 수 있음을 보여주며, 이는 이전에는 자율 학습 방법에서만 달성 가능했던 성능이다. 이는 표준 진짜 레이블 대신 데이터로부터 별도로 계산된 최대우도추정치(MLEs)를 사용함으로써 달성된다. 제안된 방법은 단일 지도 학습 프레임워크 내에서 저편향 및 저분산 추정을 통합하여, 레이블 선택을 통해 편향과 분산 간의 유연한 트레이드오프를 가능하게 한다.

ABSTRACT

Deep learning (DL) is gaining popularity as a parameter estimation method for quantitative MRI. A range of competing implementations have been proposed, relying on either supervised or self-supervised learning. Self-supervised approaches, sometimes referred to as unsupervised, have been loosely based on auto-encoders, whereas supervised methods have, to date, been trained on groundtruth labels. These two learning paradigms have been shown to have distinct strengths. Notably, self-supervised approaches have offered lower-bias parameter estimates than their supervised alternatives. This result is counterintuitive - incorporating prior knowledge with supervised labels should, in theory, lead to improved accuracy. In this work, we show that this apparent limitation of supervised approaches stems from the naive choice of groundtruth training labels. By training on labels which are deliberately not groundtruth, we show that the low-bias parameter estimation previously associated with self-supervised methods can be replicated - and improved on - within a supervised learning framework. This approach sets the stage for a single, unifying, deep learning parameter estimation framework, based on supervised learning, where trade-offs between bias and variance are made by careful adjustment of training label.

연구 동기 및 목표

• 지각적으로 모순되는 현상인 지도 학습 방법이 더 많은 정보를 갖추고 있음에도 불구하고 자율 학습 대비 더 높은 편향을 보이는 이유를 설명하기 위해.
• 지도 학습에서의 높은 편향이 학습 프레임워크 자체가 아니라 훈련 레이블 선택 때문인지 조사하기 위해.
• 자율 학습 방법의 저편향 성능을 재현하고 향상시킬 수 있는 새로운 지도 학습 프레임워크를 개발하기 위해.
• 전략적 레이블 선택을 통해 단일 지도 학습 프레임워크 내에서 qMRI 파rameter 추정의 편향과 분산 제어를 통합하기 위해.
• 신호 모델 피팅과 훈련 손실 함수를 분리함으로써 qMRI에 대한 딥 러닝 모델의 유연한, 작업 기반 최적화를 가능하게 하기 위해.

제안 방법

• 저자들은 지도 학습 훈련에서 표준 진짜 레이블을, 동일한 노이즈 있는 입력 데이터로부터 별도로 계산된 qMRI 파rameter의 최대우도추정치(MLEs)로 대체한다.
• 이 MLEs는 노이즈 있는 qMRI 신호 곡선에서 파arameter 추정치를 도출하는 딥 신경망(DNN)의 훈련 레이블로 기능한다.
• 이 방법은 지도 학습의 계산 효율성과 확장성을 유지하면서도, 진짜 레이블에 내재된 노이즈 유도 편향을 피하므로 편향을 감소시킨다.
• 이 접근법은 파arameter 간 손실 가중치를 민첩하게 조정할 수 있게 해주며, 임상적으로 중요한 파arameter에 대한 정확도 우선 순위를 설정할 수 있다.
• 훈련 과정에 Rician 노이즈 모델링을 통합하여 저신호대노이즈비(SNR)에서 성능을 향상시킨다.
• 신호 모델과 훈련 손실 함수를 분리함으로써 비가역 신호 모델의 추정도 가능하게 한다.

실험 결과

연구 질문

• RQ1 지각적으로 모순되는 현상인 지도 학습 방법이 더 많은 정보를 갖추고 있음에도 불구하고 자율 학습 대비 더 높은 편향을 보이는 이유는 무엇인가?
• RQ2 자율 학습 방법의 저편향 성능이 지도 학습 프레임워크 내에서 재현될 수 있는가?
• RQ3 진짜 레이블 대신 MLE 기반 레이블을 사용함으로써 지도 학습의 편향 특성은 향상되는가?
• RQ4 통합된 지도 학습 프레임워크를 통해 qMRI 파arameter 추정에서 편향과 분산 간의 트레이드오프를 조절할 수 있는가?
• RQ5 모델의 유연성, 노이즈 모델링, 파arameter 우선순위 설정 측면에서 MLE 기반 레이블이 진짜 레이블보다 유리한 점은 무엇인가?

주요 결과

• 진짜 레이블 대신 MLE 기반 레이블을 사용함으로써 지도 학습 훈련에서 편향이 감소하여, 특히 저SNR(예: SNR = 15)에서 자율 학습 방법과 유사하거나 더 낮은 수준의 편향을 달성한다.
• 여러 파arameter 값과 노이즈 수준에서, MLE 기반 레이블을 사용한 제안된 방법은 지도 학습 진짜 레이블 및 자율 학습 방법보다 낮은 편향과 유사하거나 더 낮은 루트 평균 제곱 오차(RMSE)를 달성한다.
• 저SNR(SNR = 15)에서 MLE로 훈련된 지도 학습 모델은 진짜 레이블 기반 지도 학습 모델보다 훨씬 낮은 편향을 보이며, 특히 극단적인 파arameter 값(예: D_slow = 0.69 및 D_slow = 2.71)에서 두드러진다.
• 이 방법은 손실 가중치를 민감하게 조정할 수 있어, 임상적으로 중요한 특정 qMRI 파arameter의 추정 정확도를 우선시할 수 있다.
• 훈련 과정에 Rician 노이즈 모델링을 통합함으로써 저SNR에서 파arameter 추정 성능이 향상되며, 특히 저속 확산 계수(D_slow)에서 두드러진다.
• 신호 모델과 훈련 손실을 분리함으로써 비가역 신호 모델의 추정이 가능해져 적용 가능한 qMRI 모델의 범위가 확장된다.