[論文レビュー] Probabilistic Residual Learning for Aleatoric Uncertainty in Image Restoration

Chen Zhang, Bangti Jin|arXiv (Cornell University)|Aug 1, 2019

Sparse and Compressive Sensing Techniques参考文献 49被引用数 6

ひとこと要約

本稿では、画像復元におけるAleatoric不確実性を、残差予測を決定論的・確率的低次元的・統合的成分に分解することによってモデル化する確率的残差学習フレームワークを提案する。この手法により、スパースな画素相関に適した構造的で効率的な不確実性モデリングを通じて、最先端の点推定と信頼性の高い不確実性評価が可能になる。

ABSTRACT

Aleatoric uncertainty is an intrinsic property of ill-posed inverse and imaging problems. Its quantification is vital for assessing the reliability of relevant point estimates. In this paper, we propose an efficient framework for quantifying aleatoric uncertainty for deep residual learning and showcase its significant potential on image restoration. In the framework, we divide the conditional probability modeling for the residual variable into a deterministic homo-dimensional level, a stochastic low-dimensional level and a merging level. The low-dimensionality is especially suitable for sparse correlation between image pixels, enables efficient sampling for high dimensional problems and acts as a regularizer for the distribution. Preliminary numerical experiments show that the proposed method can give not only state-of-the-art point estimates of image restoration but also useful associated uncertainty information.

研究の動機と目的

• 固有のノイズやデータの曖昧さに起因する不確実性が生じる不適切に定式化された画像復元問題におけるAleatoric不確実性の定量化という課題に取り組む。
• 正確な画像復元と関連する不確実性推定を同時に学習する深層学習フレームワークを構築する。
• 残差の低次元確率的表現を活用することで、高次元画像空間における効率的な不確実性モデリングを実現する。
• 訓練中に不確実性情報を正則化信号として組み込むことで、点推定の信頼性を向上させる。

提案手法

• 残差予測を3段階に分解する：決定論的同次元成分、確率的低次元成分、両者を統合するマージング層。
• 低次元潜在変数を用いて確率的成分をモデル化し、画素間のスパースな相関を効率的に捉える。
• 変分推論フレームワークを用いてモデルをエンドツーエンドで訓練し、近似事後分布を通じて不確実性推定を可能にする。
• ノイズ除去や超解像といった画像復元タスクにこのフレームワークを適用し、画素またはパッチ単位で不確実性を予測する。
• 確率的成分の低次元性を正則化子として活用することで、一般化性能の向上と過学習の低減を実現する。
• 確率性を低ランク部分空間に制限することで計算効率を確保し、高速なサンプリングとスケーラブルな訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層残差ネットワークは、最先端の点推定を維持しつつ、画像復元におけるAleatoric不確実性をモデル化できるか？
• RQ2 残差を決定論的および確率的成分に分解することで、不確実性評価とモデル一般化性能がどのように向上するか？
• RQ3 低次元確率的表現は、自然画像におけるスパースな画素相関をどの程度効果的に捉えられるか？
• RQ4 提案されたフレームワークは、現実の画像復元シナリオにおける予測誤差と相関する信頼性の高い不確実性推定を提供できるか？
• RQ5 不確実性モデリングの組み込みが、画像復元モデルのロバストネスと一般化性能にどのように影響するか？

主な発見

• 提案手法は、ノイズ除去や超解像といった画像復元タスクで最先端の点推定を達成する。
• 予測の信頼性と相関する意味のある不確実性マップをモデルが提供し、曖昧な領域や模様のある領域で高い不確実性を示す。
• 低次元確率的成分はスパースな画素相関を効果的にモデル化し、計算コストを低減しながらも予測性能を維持する。
• 不確実性推定は正則化子として機能し、モデルの一般化性能と分布シフトに対するロバストネスを向上させる。
• 数値実験により、フレームワークが高次元画像空間における効率的なサンプリングとスケーラブルな推論を可能にすることが示された。