[논문 리뷰] Learning Graph Regularisation for Guided Super-Resolution

Riccardo de Lutio, Alexander Becker외 4명|arXiv (Cornell University)|2022. 03. 27.

Advanced Optical Sensing Technologies인용 수 6

한 줄 요약

이 논문은 업샘플링 중 저해상도 소스에 대한 정확한 충실도를 보장하기 위해 딥 테처 추출과 가시적 그래프 최적화를 조합한 학습 가능한 그래프 정규화 프레임워크를 제안한다. 깊이 특징 추출기로부터 학습된 에지 퍼텐셜을 이용하고, 희소 픽셀 격자 위에서 종단 간 가시적 최적화 레이어를 통해 이를 강제 적용함으로써, 이전의 딥 러닝 및 전통적 방법보다 더 높은 재구성 정확도와 더 선명하고 자연스러운 출력을 달성한다.

ABSTRACT

We introduce a novel formulation for guided super-resolution. Its core is a differentiable optimisation layer that operates on a learned affinity graph. The learned graph potentials make it possible to leverage rich contextual information from the guide image, while the explicit graph optimisation within the architecture guarantees rigorous fidelity of the high-resolution target to the low-resolution source. With the decision to employ the source as a constraint rather than only as an input to the prediction, our method differs from state-of-the-art deep architectures for guided super-resolution, which produce targets that, when downsampled, will only approximately reproduce the source. This is not only theoretically appealing, but also produces crisper, more natural-looking images. A key property of our method is that, although the graph connectivity is restricted to the pixel lattice, the associated edge potentials are learned with a deep feature extractor and can encode rich context information over large receptive fields. By taking advantage of the sparse graph connectivity, it becomes possible to propagate gradients through the optimisation layer and learn the edge potentials from data. We extensively evaluate our method on several datasets, and consistently outperform recent baselines in terms of quantitative reconstruction errors, while also delivering visually sharper outputs. Moreover, we demonstrate that our method generalises particularly well to new datasets not seen during training.

연구 동기 및 목표

• 다운샘플링된 재구성에서 소스 충실도를 보장하지 못하는 딥 러닝 기반 가이드드 슈퍼레졸루션 방법의 한계를 해결하기 위해.
• 최적화 기반 방법의 강건성과 딥 네트워크의 문맥적 특징 학습 능력을 융합하기 위해.
• 소스 이미지와 가이드 이미지로부터 그래프 엣지 퍼텐셜을 학습하여 고해상도 타겟 재구성을 정규화하는 종단 간 학습 가능한 프레임워크를 개발하기 위해.
• 암묵적 학습이 아닌 명시적 최적화를 통해 구조적 충실도를 강제화함으로써 도메인 이탈 상황에서도 일반화 능력을 향상시키기 위해.

제안 방법

• 목표 이미지 픽셀 위의 희소이고 국소적인 유사도 그래프에서 정확한 사후 최대 추정 추론을 수행하는 가시적 최적화 레이어를 도입한다.
• 그래프의 엣지 퍼텐셜은 소스 및 가이드 이미지에 적용된 딥 컨볼루션 특징 추출기를 통해 예측되며, 이로 인해 넓은 수신장이 가능해진다.
• 그래프 구조는 픽셀 격자에 고정되어 있으나, 엣지 가중치는 고수준 특징에서 학습되므로 장거리에 걸친 문맥적 전파가 가능해진다.
• 최적화 레이어를 통한 역전파를 통해 특징 추출기와 그래프 정규화기의 종단 간 학습이 가능해진다.
• 계산 효율성을 유지하면서도 최적화 과정의 기울기 흐름을 보장하기 위해 희소 그래프를 사용한다.
• 프레임워크는 가이드드 깊이 슈퍼레졸루션에 적용되었으며, 다양한 데이터셋과 ×4에서 ×16까지의 업샘플링 인자에서 평가되었다.

Figure 1 : Our method takes as input a low-resolution source image and a high-resolution guide image of another modality to build a graph using high-level image features. The graph is then used in a differentiable optimisation layer as a regularisation to reconstruct the target .

실험 결과

연구 질문

• RQ1 학습 가능한 그래프 정규화기가 가이드드 슈퍼레졸루션에서 재구성 충실도를 향상시키면서도 높은 정성적 품질을 유지할 수 있는가?
• RQ2 기존의 전통적 최적화 기반 및 딥 러닝 기반 슈퍼레졸루션 방법과 비교해, 제안된 방법은 정량적 및 정성적 성능 측면에서 어떻게 다른가?
• RQ3 이 방법은 훈련 중에 볼 수 없었던 새로운 데이터셋과 분포 이탈 상황에 대해 얼마나 잘 일반화되는가?
• RQ4 이 방법은 특징 추출기 아키텍처 선택에 얼마나 민감한가?
• RQ5 제안된 가시적 최적화 프레임워크에서 재구성 정확도와 추론 속도 사이의 상충 관계는 어떠한가?

주요 결과

• UResNet-50 백본을 사용할 경우, NYUv2 ×8 업샘플링 작업에서 모든 평가된 방법 중 가장 낮은 MAE(1.42 cm)를 기록했다.
• 모든 테스트된 데이터셋과 업샘플링 인자에서 MSE 및 MAE 측면에서 최신 기준 성능을 뛰어넘는 일관된 성능을 보였다.
• 훈련 중에 볼 수 없었던 새로운 데이터셋에 대해서도 강력한 도메인 일반화 능력을 보이며 유연하게 일반화되었다.
• 백본 선택에 거의 민감하지 않아, 그래프 정규화가 특징 추출기의 표현 능력을 효과적으로 제한함을 시사한다.
• 원시 색상 정보를 특징으로 사용할 경우 성능이 크게 떨어지며(MAE = 2.30 cm), 학습된 특징이 효과적인 정규화를 위해 필수적임을 확인했다.
• RTX 2080 Ti에서 256² 패치당 추론 시간은 약 111 ms로, 피드포워드 모델보다 느리지만 정확한 소스 충실도를 보장한다.

Figure 2 : The architecture of our approach. A neural network backbone is employed to extract deep feature maps from the guide and source images. A graph over pixels is constructed based on pairwise affinities derived from these feature maps. Finally, a quadratic optimisation problem is solved for a