[논문 리뷰] Interpolating Points on a Non-Uniform Grid using a Mixture of Gaussians

Ivan Skorokhodov|arXiv (Cornell University)|2020. 12. 24.

Advanced Image Processing Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 고정된 분산을 가진 2차원 가우시안으로 각 알려진 픽셀을 모델링하고, 알려지지 않은 픽셀의 색상은 가우시안 커널 가중치를 사용한 알려진 색상의 가중 평균으로 계산하는, 가우시안 믹스처 모델(GMM)을 사용한 미분 가능한 비균일 이미지 보간 방법을 제안한다. 이 방법은 특히 높은 다운샘플링 요소에서 ImageNet에서 표준 보간 기법들을 능가하며, 전방 및 역방향 전파를 위한 최적화된 CUDA 커널을 포함한다.

ABSTRACT

In this work, we propose an approach to perform non-uniform image interpolation based on a Gaussian Mixture Model. Traditional image interpolation methods, like nearest neighbor, bilinear, Hamming, Lanczos, etc. assume that the coordinates you want to interpolate from, are positioned on a uniform grid. However, it is not always the case in practice and we develop an interpolation method that is able to generate an image from arbitrarily positioned pixel values. We do this by representing each known pixel as a 2D normal distribution and considering each output image pixel as a sample from the mixture of all the known ones. Apart from the ability to reconstruct an image from arbitrarily positioned set of pixels, this also allows us to differentiate through the interpolation procedure, which might be helpful for downstream applications. Our optimized CUDA kernel and the source code to reproduce the benchmarks is located at https://github.com/universome/non-uniform-interpolation.

연구 동기 및 목표

• 표준 보간 기법이 입력 점을 균일하게 분포된 것으로 가정하는 데서 비롯하는 한계를 해결하기 위해.
• 임의의 위치에 놓인 픽셀 값으로부터 고품질의 이미지 복원을 가능하게 하기 위해.
• 입력 점 위치의 기울기 기반 최적화를 지원하는, 미분 가능한 보간 절차를 개발하기 위해.
• 전방 및 역방향 전파를 위한 최적화된 CUDA 커널을 통해 효율적인 GPU 가속 구현을 제공하기 위해.
• 실세계 이미지 데이터셋에서 표준 보간 기법들과의 성능 평가를 위해.

제안 방법

• 위치 $(x^{(i)}, y^{(i)})$ 에 있는 알려진 픽셀과 색상 $c^{(i)}$ 는 $\mathcal{N}(\bm{\mu}^{(i)}, \sigma^2 I)$ 로 모델링되며, 여기서 $\bm{\mu}^{(i)} = (x^{(i)}, y^{(i)})$ 이다.
• 알려지지 않은 쿼리 점 $\bm{q} = (x, y)$ 에서의 색상은 GMM 하에서의 기대 색상으로 계산된다: $c(\bm{q}) = \sum_{i=1}^{N} c^{(i)} \cdot \frac{\mathcal{N}(\bm{q}|\bm{\mu}^{(i)}, \sigma^2 I)}{Z_{\bm{q}}}$.
• 정규화 요소 $Z_{\bm{q}} = \sum_{i=1}^{N} \mathcal{N}(\bm{q}|\bm{\mu}^{(i)}, \sigma^2 I)$ 는 가중치의 합이 1이 되도록 보장한다.
• 계산 효율성을 높이기 위해 추론 시에는 근처의 점들만 고려한다.
• 모든 RGB 채널을 별도로 처리하며, 보간 과정을 통해 역전파가 가능하다.
• 전방 및 역방향 전파를 위한 최적화된 CUDA 커널을 구현하여 효율적인 훈련 및 최적화를 지원한다.

실험 결과

연구 질문

• RQ1 임의의 위치에 놓인 입력 점들로부터 이미지 값을 보간하는 데에 가우시안 믹스처 모델이 효과적으로 사용될 수 있는가?
• RQ2 제안된 미분 가능한 보간 방법이 비균일 그리드에서 표준 보간 기법보다 더 높은 복원 품질을 달성하는가?
• RQ3 성능가 가우시안 분산 하이퍼파rameter $\sigma^2$ 의 선택에 얼마나 민감한가?
• RQ4 기울기 하강법을 통해 알려진 점들의 공간적 위치를 효과적으로 최적화할 수 있는가, 이를 통해 복원 품질 향상이 가능한가?
• RQ5 표준 라이브러리와 비교해 제안된 CUDA 최적화 구현의 효율성은 어떠한가?

주요 결과

• 다운샘플링 요소가 중간 수준을 초과할 경우, ImageNet에서 여섯 가지 표준 보간 기법(최근접, 이차선형, 이차보간 등)보다 $L_1$ 복원 오차 측면에서 제안된 방법이 뛰어나다.
• 낮은 다운샘플링 요소에서는 경쟁 가능한 성능를 보이며, 다운샘플링 비율이 증가할수록 점점 더 뛰어난 성능를 나타낸다.
• 기울기 하강법을 통해 알려진 점의 위치를 최적화하면 복원 품질 향상이 미미하여, 모델이 초기화에 민감하고 국소 최적점에 갇힐 가능성이 높다는 것을 시사한다.
• 점 좌표 최적화보다도 모델의 성능가 분산 하이퍼파rameter $\sigma^2$ 의 선택에 훨씬 더 민감하다.
• CUDA 커널 구현은 효율적인 전방 및 역방향 전파를 가능하게 하여, 엔드 투 엔드 미분 가능한 이미지 복원을 지원한다.
• 느린 PyTorch 기반 기준 구현과 비교하여 역방향 전파가 정확한 수치 계산을 수행함을 확인하여 정확성을 검증하였다.