[논문 리뷰] Probabilistic Residual Learning for Aleatoric Uncertainty in Image Restoration

Chen Zhang, Bangti Jin|arXiv (Cornell University)|2019. 08. 01.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 6

한 줄 요약

이 논문은 이미지 복원에서 앨레아토릭 불확실성을 모델링하기 위해 잔차 예측을 결정론적, 확률적 저차원 및 융합 성분으로 분해하는 확률적 잔차 학습 프레임워크를 제안한다. 이 방법은 희박한 픽셀 상관관계에 적합한 효율적이고 구조화된 불확실성 모델링을 통해 최신 기술 수준의 점 추정치와 신뢰할 수 있는 불확실성 정량화를 가능하게 한다.

ABSTRACT

Aleatoric uncertainty is an intrinsic property of ill-posed inverse and imaging problems. Its quantification is vital for assessing the reliability of relevant point estimates. In this paper, we propose an efficient framework for quantifying aleatoric uncertainty for deep residual learning and showcase its significant potential on image restoration. In the framework, we divide the conditional probability modeling for the residual variable into a deterministic homo-dimensional level, a stochastic low-dimensional level and a merging level. The low-dimensionality is especially suitable for sparse correlation between image pixels, enables efficient sampling for high dimensional problems and acts as a regularizer for the distribution. Preliminary numerical experiments show that the proposed method can give not only state-of-the-art point estimates of image restoration but also useful associated uncertainty information.

연구 동기 및 목표

• 내재된 노이즈와 데이터의 모호성으로 인해 발생하는 불완전한 이미지 복원 문제에서 앨레아토릭 불확실성을 정량화하는 데 도전한다.
• 정확한 이미지 복원과 관련된 불확실성 추정치를 동시에 학습하는 딥 러닝 프레임워크를 개발한다.
• 잔차의 저차원 확률적 표현을 활용하여 고차원 이미지 공간에서 효율적인 불확실성 모델링을 가능하게 한다.
• 학습 중에 불확실성 정보를 정규화 신호로 통합함으로써 점 추정치의 신뢰성을 향상시킨다.

제안 방법

• 잔차 예측을 세 수준으로 분해한다: 결정론적 동차 성분, 확률적 저차원 성분, 그리고 둘을 융합하는 병합 레이어.
• 희박한 픽셀 간 상관관계를 효율적으로 포착하기 위해 저차원 잠재 변수를 사용해 확률적 성분을 모델링한다.
• 모델을 엔드 투 엔드로 훈련하기 위해 변분 추론 프레임워크를 사용하여 근사 사후 분포를 통해 불확실성 추정을 가능하게 한다.
• 노이즈 제거 및 초해상도 복원과 같은 이미지 복원 작업에 프레임워크를 적용하며, 각 픽셀 또는 패치별로 불확실성을 예측한다.
• 확률적 성분의 저차원성을 정규화 요소로 활용하여 일반화 성능 향상과 과적합 감소를 도모한다.
• 확률성을 저랭크 부분공간에 국한시켜 계산 효율성을 확보함으로써 빠른 샘플링과 확장 가능한 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최신 기술 수준의 점 추정치를 유지하면서도 딥 리미니드 네트워크를 확장하여 이미지 복원에서 앨레아토릭 불확실성을 모델링할 수 있는가?
• RQ2 잔차를 결정론적 및 확률적 성분으로 분해함으로써 불확실성 정량화와 모델 일반화는 어떻게 향상되는가?
• RQ3 저차원 확률적 표현이 자연 이미지의 희박한 픽셀 상관관계를 얼마나 효과적으로 포착하는가?
• RQ4 제안된 프레임워크는 실제 이미지 복원 시나리오에서 예측 오차와 관련된 신뢰할 수 있는 불확실성 추정치를 제공할 수 있는가?
• RQ5 불확실성 모델링의 통합은 이미지 복원 모델의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 노이즈 제거 및 초해상도 복원과 같은 이미지 복원 작업에서 최신 기술 수준의 점 추정치를 달성한다.
• 예측 신뢰도와 관련하여 의미 있는 불확실성 맵을 제공하며, 모호하거나 무늬가 뚜렷한 영역에서 높은 불확실성을 나타낸다.
• 저차원 확률적 성분은 희박한 픽셀 상관관계를 효과적으로 모델링하여 계산 비용을 감소시키면서도 예측 성능를 유지한다.
• 불확실성 추정은 정규화 요소로 작용하여 모델의 일반화 능력 향상과 분포 이탈에 대한 강건성을 향상시킨다.
• 수치 실험을 통해 이 프레임워크가 고차원 이미지 공간에서 효율적인 샘플링과 확장 가능한 추론을 가능하게 한다.