[논문 리뷰] Higher-order MRFs based image super resolution: MMSE or MAP?

Yunjin Chen|arXiv (Cornell University)|2014. 10. 27.

Advanced MRI Techniques and Applications인용 수 1

한 줄 요약

이 논문은 고차수 필드의 전문가(FoE) 사전 기반 단일 이미지 초해상도 복원에서, 계산적으로 효율적인 MAP 추론이 시간이 오래 걸리는 MMSE 추정을 뛰어넘거나 동등하게 성능을 내며, 동일한 사전 모델을 사용함에도 불구하고 이를 입증한다. 특히 판별적으로 학습된 FoE 사전을 사용할 경우, MAP 추론은 성능을 추가로 향상시켜 이 작업에서는 MMSE 추정이 불필요해진다.

ABSTRACT

has proved a highly effective image prior model for many classic image restoration problems. Generally, two options are available to incorporate the learned FoE prior in the inference procedure: (1) sampling-based minimum mean square error (MMSE) estimate, and (2) energy minimization-based maximum a posteriori (MAP) estimate. It is well-known the sampling-based MMSE estimate is very time consuming, but the MAP inference has a remarkable advantage of high computational efficiency. In a recent paper, the FoE prior model was exploited for the single image super resolution (SR) task by using the MMSE inference, based on a seemingly correct conclusion that the MAP inference of the FoE prior based model, which leads a non-convex optimization problem, is prone to getting stuck in some bad local minima. However, in this letter, we demonstrate that this simpler inference criterion- the MAP estimate, works equally well compared to the complicated MMSE estimate with exactly the same prior model. Moreover, with our discriminatively trained FoE prior model, the MAP inference can even lead to further improvements. Consequently, we argue that for higher-order natural image prior based SR problem, it is not necessary to employ the time consuming MMSE estimation. Index Terms—Bayesian minimum mean square error, a maxi-mum a posteriori, Fields of Experts, single image super resolution I.

연구 동기 및 목표

• 고차수 FoE 사전을 사용한 단일 이미지 초해상도 복원에서, 계산적으로 효율적인 MAP 추론이 더 복잡한 MMSE 추정의 성능을 따라잡거나 뛰어나게 할 수 있는지 평가하는 것.
• FoE 사전을 사용한 MAP 추론이 초해상도 작업에서 나쁜 국소 최솟값에 빠지기 쉬운 것으로 일반적으로 여겨지는 가정이 타당한지 검토하는 것.
• FoE 사전의 판별적 학습이 초해상도에서 MAP 기반 추론의 성능을 추가로 향상시킬 수 있는지 평가하는 것.
• FoE 기반 초해상도에서 일반적으로 MMSE 추정에 의존하는 경향을 도전하며, MAP 추론이 실용성과 성능 면에서 유리한 점을 입증하는 것.

제안 방법

• 저자는 동일한 고차수 FoE 사전 모델을 사용하여 단일 이미지 초해상도 복원에서 MMSE(샘플링 기반)와 MAP(에너지 최소화)의 두 가지 추론 전략을 비교한다.
• MAP 추론의 성능 향상을 위해 판별적으로 학습된 FoE 사전을 도입하여 사전 모델의 품질을 향상시킨다.
• MAP 추론은 에너지 최소화를 통해 구현되며, 비볼록 최적화 문제를 해결하므로 MMSE 샘플링에 비해 계산적으로 효율적이다.
• MMSE와 MAP의 성능은 기준 초해상도 평가 지표를 사용하여 벤치마크 데이터셋에서 평가된다.
• 두 추론 방법에 동일한 FoE 사전 모델을 사용하여 공정한 비교를 보장한다.
• MAP 목표 함수의 최적화 지형을 분석하여, 나쁜 국소 최솟값에 취약한지 평가한다.

실험 결과

연구 질문

• RQ1 동일한 사전 모델을 사용할 때, FoE 사전을 사용한 MAP 추론이 MMSE 추론과 비교해 유사하거나 뛰어난 초해상도 복원 성능을 달성하는가?
• RQ2 고차수 FoE 사전을 사용한 MAP 추론이 단일 이미지 초해상도 작업의 맥락에서 나쁜 국소 최솟값에 빠지기 쉬운 것으로 일반적으로 여겨지는 것이 타당한가?
• RQ3 FoE 사전의 판별적 학습이 MAP 기반 초해상도의 성능을 추가로 향상시킬 수 있는가?
• RQ4 FoE 기반 초해상도 복원에서 시간이 오래 걸리는 MMSE 추정이 진정으로 필요한가, 아니면 효율적인 MAP 추론으로 충분한가?

주요 결과

• 동일한 FoE 사전 모델을 사용할 때, MAP 추론 방법은 MMSE 추정과 동등한 초해상도 복원 성능을 달성한다.
• 시험된 초해상도 작업에서 MAP 추론은 나쁜 국소 최솟값에 빠지지 않으며, 이는 그것이 신뢰할 수 없다는 가정과 정면으로 배치된다.
• 판별적으로 학습된 FoE 사전을 사용할 경우, MAP 추론은 표준 FoE 사전과 MMSE 기준선 모두를 뛰어넘는 추가적인 성능 향상을 이룬다.
• MAP 추론의 계산 효율성 덕분에, 샘플링 요구 사항으로 인해 매우 느린 MMSE에 비해 훨씬 우수한 선택이 된다.
• 이 연구는 고차수 사전 기반 초해상도 복원에서 MMSE 추정이 불필요하다고 결론내리며, MAP 추론은 훨씬 낮은 계산 비용으로 동등하거나 더 나은 결과를 제공한다.