[論文レビュー] Interpolating Points on a Non-Uniform Grid using a Mixture of Gaussians

Ivan Skorokhodov|arXiv (Cornell University)|Dec 24, 2020

Advanced Image Processing Techniques参考文献 9被引用数 5

ひとこと要約

本稿では、各既知ピクセルを固定分散の2次元ガウス分布としてモデル化し、未知ピクセルの色をガウスカーネル重みを用いた重み付き平均として計算する、微分可能で非一様な画像補間手法を提案する。この手法は、ImageNetにおいて標準的な補間手法を上回り、特に高比率のダウンサンプリング時において優れた性能を示す。また、前向きおよび逆向きの伝搬を効率的に行うために最適化されたCUDAカーネルを備えている。

ABSTRACT

In this work, we propose an approach to perform non-uniform image interpolation based on a Gaussian Mixture Model. Traditional image interpolation methods, like nearest neighbor, bilinear, Hamming, Lanczos, etc. assume that the coordinates you want to interpolate from, are positioned on a uniform grid. However, it is not always the case in practice and we develop an interpolation method that is able to generate an image from arbitrarily positioned pixel values. We do this by representing each known pixel as a 2D normal distribution and considering each output image pixel as a sample from the mixture of all the known ones. Apart from the ability to reconstruct an image from arbitrarily positioned set of pixels, this also allows us to differentiate through the interpolation procedure, which might be helpful for downstream applications. Our optimized CUDA kernel and the source code to reproduce the benchmarks is located at https://github.com/universome/non-uniform-interpolation.

研究の動機と目的

• 標準的な補間手法が入力ポイントを一様に配置していると仮定するという制限を解消すること。
• 任意に配置されたピクセル値から高品質な画像再構成を可能にすること。
• 入力ポイントの位置を勾配ベース最適化に適合可能な微分可能な補間手順を開発すること。
• 前向きおよび逆向きの両方の伝搬に対して、カスタムCUDAカーネルを用いた効率的なGPUアクセcelerated実装を提供すること。
• 実世界の画像データセット上で、標準的な補間手法と比較して本手法の性能を評価すること。

提案手法

• 位置 $(x^{(i)}, y^{(i)})$ にあり、色 $c^{(i)}$ を持つ各既知ピクセルは、$\mathcal{N}(\bm{\mu}^{(i)}, \sigma^2 I)$ の2次元ガウス分布としてモデル化され、ここで $\bm{\mu}^{(i)} = (x^{(i)}, y^{(i)})$ である。
• 未知のクエリ点 $\bm{q} = (x, y)$ における色は、GMM下での期待色として計算される：$c(\bm{q}) = \sum_{i=1}^{N} c^{(i)} \cdot \frac{\mathcal{N}(\bm{q}|\bm{\mu}^{(i)}, \sigma^2 I)}{Z_{\bm{q}}}$。
• 正規化係数 $Z_{\bm{q}} = \sum_{i=1}^{N} \mathcal{N}(\bm{q}|\bm{\mu}^{(i)}, \sigma^2 I)$ により、重みの合計が1になるように保証される。
• 計算効率を向上させるために、推論時には近隣のポイントのみを考慮する。
• RGBチャンネルを独立して処理し、補間プロセス全体にバックプロパゲーションを可能にする。
• 前向きおよび逆向きの両方の伝搬を効率的に行うために、最適化されたCUDAカーネルが実装されている。

実験結果

リサーチクエスチョン

• RQ1 ガウス・ミックスチャネル・モデルを、任意に配置された入力ポイントからの画像値補間に効果的に適用できるか？
• RQ2 提案された微分可能な補間手法は、非一様グリッド上での標準的な補間手法よりも優れた再構成品質を達成できるか？
• RQ3 ガウス分布の分散ハイパーパramータ $\sigma^2$ の選択に、性能がどれほど敏感か？
• RQ4 勾配降下法を用いて既知ポイントの空間的位置を最適化することで、再構成品質を効果的に向上させられるか？
• RQ5 標準ライブラリと比較して、提案されたCUDA最適化実装の効率性はいかがなものか？

主な発見

• ダウンサンプリング要因が中程度の閾値を超えると、ImageNet上での $L_1$ 再構成誤差の観点で、6種類の標準的補間手法（最近傍、バイリニア、バイキュービックなど）を上回る性能を示した。
• 低ダウンサンプリング要因では競争力のある性能を示し、ダウンサンプリング比が高くなるにつれて、より顕著に優位性を示した。
• 勾配降下法による既知ポイントの位置最適化は、再構成品質の向上にほとんど寄与しなかった。これは、モデルが初期化に敏感で、局所最適解に陥りやすいことを示唆している。
• 点座標の最適化よりも、分散ハイパーパramータ $\sigma^2$ の選択にモデルの性能がはるかに敏感であることが判明した。
• CUDAカーネル実装により、効率的な前向きおよび逆向きの伝搬が可能となり、エンド・トゥ・エンドで微分可能な画像再構成が実現された。
• バックプロパゲーションは、遅いPyTorchベースの参照実装と比較して検証され、数値計算の正しさが確認された。