[論文レビュー] Higher-order MRFs based image super resolution: MMSE or MAP?

Yunjin Chen|arXiv (Cornell University)|Oct 27, 2014

Advanced MRI Techniques and Applications被引用数 1

ひとこと要約

この論文は、高次 FoE（Fields of Experts）事前分布に基づく単一画像超解像において、計算効率の良い MAP 推論が、時間のかかる MMSE 評価を上回るか同等の性能を発揮することを示している。同じ事前分布モデルを用いても同様である。判別的に学習された FoE 事前分布を用いることで、MAP 推論の性能がさらに向上し、このタスクでは MMSE が不要になる。

ABSTRACT

has proved a highly effective image prior model for many classic image restoration problems. Generally, two options are available to incorporate the learned FoE prior in the inference procedure: (1) sampling-based minimum mean square error (MMSE) estimate, and (2) energy minimization-based maximum a posteriori (MAP) estimate. It is well-known the sampling-based MMSE estimate is very time consuming, but the MAP inference has a remarkable advantage of high computational efficiency. In a recent paper, the FoE prior model was exploited for the single image super resolution (SR) task by using the MMSE inference, based on a seemingly correct conclusion that the MAP inference of the FoE prior based model, which leads a non-convex optimization problem, is prone to getting stuck in some bad local minima. However, in this letter, we demonstrate that this simpler inference criterion- the MAP estimate, works equally well compared to the complicated MMSE estimate with exactly the same prior model. Moreover, with our discriminatively trained FoE prior model, the MAP inference can even lead to further improvements. Consequently, we argue that for higher-order natural image prior based SR problem, it is not necessary to employ the time consuming MMSE estimation. Index Terms—Bayesian minimum mean square error, a maxi-mum a posteriori, Fields of Experts, single image super resolution I.

研究の動機と目的

• 高次 FoE 事前分布を用いた単一画像超解像において、計算効率の良い MAP 推論が、より複雑な MMSE 評価を同等または上回る性能を発揮するかどうかを評価すること。
• FoE 事前分布を用いた MAP 推論が、超解像タスクにおいて悪い局所最適解に陥りやすいという一般的な仮定が妥当かどうかを検証すること。
• FoE 事前分布の判別的学習が、超解像における MAP に基づく推論の性能をさらに向上させられるかどうかを評価すること。
• FoE を用いた超解像において、MMSE 評価に依存する傾向が一般的であるが、MAP 推論の実用的・性能上の利点を示すことにより、この慣習に挑戦すること。

提案手法

• 著者らは、同じ高次 FoE 事前分布モデルを用いて、単一画像超解像の文脈で、MMSE（サンプリングベース）と MAP（エネルギー最小化）の2つの推論戦略を比較した。
• MAP 推論の性能を向上させるために、判別的に学習された FoE 事前分布を採用した。
• MAP 推論はエネルギー最小化により実装され、非凸最適化問題を解くが、MMSE のサンプリングに比べて計算効率が良い。
• MMSE と MAP の両方の性能を、ベンチマークデータセット上で標準的な超解像評価指標を用いて評価した。
• 両推論手法に同一の FoE 事前分布モデルを用いることで、公平な比較を確保した。
• MAP 目的関数の最適化の様相を分析し、悪い局所最適解への感受性を評価した。

実験結果

リサーチクエスチョン

• RQ1 同じ事前分布モデルを用いた場合、FoE 事前分布を用いた MAP 推論が、MMSE 推論と同等または優れた超解像結果を達成できるか？
• RQ2 単一画像超解像の文脈において、FoE 事前分布を用いた MAP 推論が悪い局所最適解に陥りやすいという一般的な認識は妥当か？
• RQ3 FoE 事前分布の判別的学習が、MAP に基づく超解像の性能をさらに向上させられるか？
• RQ4 FoE を用いた超解像において、時間のかかる MMSE 評価は本当に必要なのか？それとも、効率的な MAP 推論で十分か？

主な発見

• 同じ FoE 事前分布モデルを用いた場合、MAP 推論は MMSE 評価と同等の超解像性能を達成した。
• テストされた超解像タスクにおいて、MAP 推論は悪い局所最適解に陥らないことが判明し、それが信頼性に欠けるという仮定とは矛盾した。
• 判別的に学習された FoE 事前分布を用いることで、MAP 推論は標準的な FoE 事前分布および MMSE ベースラインを上回る性能向上を達成した。
• MAP 推論の計算効率の高さから、サンプリング要件により著しく遅延する MMSE に比べ、優れた選択肢であることが示された。
• 本研究の結論として、高次事前分布に基づく超解像においては、MMSE 評価は不要であり、MAP 推論がはるかに低い計算コストで同等または優れた結果を提供できる。