[논문 리뷰] Revisiting L1 Loss in Super-Resolution: A Probabilistic View and Beyond

Xiangyu He, Jian Cheng|arXiv (Cornell University)|2022. 01. 25.

Advanced Image Processing Techniques인용 수 10

한 줄 요약

이 논문은 초해상도에서 ℓ₁ 손실의 확률적 재고찰을 제안하며, 고해상도 출력을 후행분포 P(y|x;W)로 모델링하여 네트워크가 타당한 해답들 사이에서 기대 재구성 오차를 최소화하는 일对다수 매핑을 학습할 수 있도록 한다. 이 방법은 추론 비용 없이도 이미지의 정밀도와 불확실성 추정을 향상시켜 주류 아키텍처에서 표준 ℓ₁ 손실을 능가한다.

ABSTRACT

Super-resolution as an ill-posed problem has many high-resolution candidates for a low-resolution input. However, the popular $\ell_1$ loss used to best fit the given HR image fails to consider this fundamental property of non-uniqueness in image restoration. In this work, we fix the missing piece in $\ell_1$ loss by formulating super-resolution with neural networks as a probabilistic model. It shows that $\ell_1$ loss is equivalent to a degraded likelihood function that removes the randomness from the learning process. By introducing a data-adaptive random variable, we present a new objective function that aims at minimizing the expectation of the reconstruction error over all plausible solutions. The experimental results show consistent improvements on mainstream architectures, with no extra parameter or computing cost at inference time.

연구 동기 및 목표

• 단일 이미지 초해상도에서 ℓ₁ 손실의 한계를 해결하기 위해, 고해상도 해답의 본질적 다의성에도 불구하고 문제를 일대일 매핑으로 간주하는 점을 개선한다.
• 고해상도 이미지를 후행분포 P(y|x;W)로 모델링하여 인지적으로 타당한 해답의 다양성을 포착한다.
• 단일 참조 이미지에 맞추는 대신, 가능한 모든 고해상도 출력에 대한 기대 재구성 오차를 최소화한다.
• 예측된 후행분포의 표준편차를 통해 의미 있는 불확실성 추정을 가능하게 한다.
• 추론 시 추가 계산 비용 없이 ℓ₁ 손실에 비해 일관된 성능 향상을 달성한다.

제안 방법

• 예측된 고해상도 이미지 μ가 학습 가능한 평균 μ와 표준편차 σ를 가진 가우시안 후행분포 P(y|x;W)에서 샘플링되는 확률적 모델로 초해상도를 설정한다.
• 후행분포에서 샘플링할 수 있도록 데이터 적응형 랜덤 변수 z ~ N(0,1)을 도입하여 네트워크가 일대다 매핑을 학습할 수 있도록 한다.
• 모든 타당한 해답에 대해 기대 ℓ₁ 재구성 오차를 최소화하는 새로운 손실 함수를 유도한다: E_z[||ŷ - (μ + |ŷ - μ| * z)||₁].
• μ(평균)와 σ_pre(표준편차)를 예측하기 위해 이중 분기 헤드를 사용하며, 정확한 불확실성 추정을 유도하기 위해 σ_pre에 별도의 손실을 적용한다.
• 작은 잔차 오차 |ŷ - μ|에 대해 z를 마스킹함으로써 어려운 샘플에 집중하는 히우리스틱을 적용하여, 쉬운 샘플이 지배하는 것을 방지한다. 이는 포칼 손실과 유사하다.
• 표준 딥러닝 프레임워크와 호환되는 엔드 투 엔드 훈련을 위해 자동 미분을 활용한다.

실험 결과

연구 질문

• RQ1 초해상도에서 고해상도 해답의 다의성을 더 잘 반영하기 위해 ℓ₁ 손실는 어떻게 재해석할 수 있는가?
• RQ2 고해상도 출력을 후행분포로 모델링하면 표준 ℓ₁ 손실에 비해 이미지 정밀도를 향상시키고 흐림을 줄일 수 있는가?
• RQ3 후행분포에서 샘플링을 통해 일대다 매핑을 학습하면 더 인지적으로 현실적인 결과를 얻을 수 있는가?
• RQ4 후행분포의 예측된 표준편차는 초해상도 출력의 신뢰할 수 있는 불확실성 추정으로 기능할 수 있는가?
• RQ5 이 방법은 추론 비용을 증가시키지 않고 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 방법은 주요 초해상도 아키텍처 여러 종류에서 표준 ℓ₁ 손실에 비해 PSNR와 인지적 품질을 일관되게 향상시킨다.
• 예측된 표준편차 σ는 실제 잔차 오차 |ŷ - μ|와 밀접한 상관관계를 보이며, 높은 수준의 불확실성 추정을 나타낸다.
• 단일 평균 또는 중앙값으로 회귀하는 것 대신 타당한 고해상도 출력의 분포를 학습함으로써 뿌연 아티팩트를 줄인다.
• 어려운 샘플 마이닝은 큰 재구성 오차를 가진 영역에 집중함으로써 훈련의 안정성과 성능을 향상시킨다.
• 이 방법은 추론 시 추가 파라미터나 계산 비용 없이도 ℓ₁ 손실보다 더 나은 성능을 달성한다.
• 불확실성 맵 σ는 실제 오차가 큰 영역과 빌드업되어 있어 해석 가능성이 높으며, 안전이 중요한 응용 분야에서 잠재적인 유용성을 보여준다.