[論文レビュー] Learning Graph Regularisation for Guided Super-Resolution

Riccardo de Lutio, Alexander Becker+4 more|arXiv (Cornell University)|Mar 27, 2022

Advanced Optical Sensing Technologies被引用数 6

ひとこと要約

本稿では、アップサンプリング中に低解像度ソースへの正確な忠実度を保証するための学習可能なグラフ正則化フレームワークを提案する。深層特徴抽出と微分可能グラフ最適化を組み合わせることで、深層学習的手法と従来の最適化手法の長所を統合し、優れた再構成精度とよりシャープで自然な出力を達成する。

ABSTRACT

We introduce a novel formulation for guided super-resolution. Its core is a differentiable optimisation layer that operates on a learned affinity graph. The learned graph potentials make it possible to leverage rich contextual information from the guide image, while the explicit graph optimisation within the architecture guarantees rigorous fidelity of the high-resolution target to the low-resolution source. With the decision to employ the source as a constraint rather than only as an input to the prediction, our method differs from state-of-the-art deep architectures for guided super-resolution, which produce targets that, when downsampled, will only approximately reproduce the source. This is not only theoretically appealing, but also produces crisper, more natural-looking images. A key property of our method is that, although the graph connectivity is restricted to the pixel lattice, the associated edge potentials are learned with a deep feature extractor and can encode rich context information over large receptive fields. By taking advantage of the sparse graph connectivity, it becomes possible to propagate gradients through the optimisation layer and learn the edge potentials from data. We extensively evaluate our method on several datasets, and consistently outperform recent baselines in terms of quantitative reconstruction errors, while also delivering visually sharper outputs. Moreover, we demonstrate that our method generalises particularly well to new datasets not seen during training.

研究の動機と目的

• ダウンサンプリングされた再構成においてソース忠実度を保証できない、深層学習ベースのガイド付き超解像化手法の限界を是正すること。
• 最適化手法の頑健性と深層ネットワークの文脈的特徴学習能力を統合すること。
• ソース画像とガイド画像からの特徴抽出によって学習されるグラフエッジポテンシャルを用いて、高解像度ターゲット再構成を正則化する、エンドツーエンドで訓練可能なフレームワークを開発すること。
• 暗黙の学習ではなく明示的な最適化により構造的忠実度を強制することで、ドメインシフト下での一般化を向上させること。

提案手法

• ターゲット画像ピクセル上のスパースで局所的な類似性グラフ上で正確な事後確率推定（MAP推定）を実行する微分可能最適化層を導入する。
• グラフ内のエッジポテンシャルは、ソース画像およびガイド画像に適用された深層畳み込み特徴抽出器によって予測され、広い受容野を実現する。
• グラフ構造はピクセル格子に固定されるが、エッジ重みは高レベル特徴から学習されるため、長距離にわたる文脈的伝搬が可能になる。
• 最適化層を介した逆誤差伝搬により、特徴抽出器とグラフ正則化器のエンドツーエンド学習が可能になる。
• 計算効率を維持しつつ、最適化プロセスにおける勾配伝搬を可能にするためにスパースグラフが使用される。
• フレームワークはガイド付き深度超解像に適用され、×4から×16の複数のアップサンプリング要因および複数のデータセットで評価されている。

Figure 1 : Our method takes as input a low-resolution source image and a high-resolution guide image of another modality to build a graph using high-level image features. The graph is then used in a differentiable optimisation layer as a regularisation to reconstruct the target .

実験結果

リサーチクエスチョン

• RQ1 学習可能なグラフ正則化器は、高い知覚的品質を維持したまま、ガイド付き超解像化における再構成忠実度を向上させることができるか？
• RQ2 本手法は、従来の最適化ベースおよび深層学習ベースの超解像化手法と比較して、定量的および定性的な性能でどのように差をつけるか？
• RQ3 本手法は、トレーニング時に見られなかったデータセットや分布シフトに対してどれほど一般化できるか？
• RQ4 本手法は特徴抽出器アーキテクチャの選択にどれほど感受的か？
• RQ5 本稿で提案する微分可能最適化フレームワークにおいて、再構成精度と推論速度のトレードオフはどのようなものか？

主な発見

• 本手法は、NYUv2 ×8 アップサンプリングタスクにおいて、すべての評価手法の中で最小のMAE（1.42 cm）を達成した。この結果はUResNet-50バックボーンを用いた場合である。
• 本手法は、すべてのテスト済みデータセットおよびアップサンプリング要因において、MSEおよびMAEの両面で最先端のベースラインを一貫して上回った。
• トレーニング時に見られなかった新しいデータセットに対しても、本手法は強力なドメイン一般化能力を示し、堅牢に一般化した。
• 性能はバックボーンの選択にほとんど依存しないため、グラフ正則化が特徴抽出器の表現能力を効果的に制限していることが示された。
• カラーデータそのものを特徴として使用した場合、著しく性能が劣る（MAE = 2.30 cm）ことが確認され、学習された特徴が効果的な正則化に不可欠であることが裏付けられた。
• 推論時間はRTX 2080 Ti上で256²ピクセルのパッチあたり約111 msであり、フォワードパスモデルより遅いが、正確なソース忠実度を保証する。

Figure 2 : The architecture of our approach. A neural network backbone is employed to extract deep feature maps from the guide and source images. A graph over pixels is constructed based on pairwise affinities derived from these feature maps. Finally, a quadratic optimisation problem is solved for a