[論文レビュー] Enhancing Multi-Scale Implicit Learning in Image Super-Resolution with Integrated Positional Encoding

Ying-Tian Liu, Yuan-Chen Guo+1 more|arXiv (Cornell University)|Dec 10, 2021

Advanced Image Processing Techniques被引用数 9

ひとこと要約

本稿では、画素領域全体にわたる位置符号化を統合することで、マルチスケールの暗黙的学習を向上させる、新しい手法である統合位置符号化（IPE）を提案する。LIIFフレームワークに適用したIPE-LIIFは、空間周波数情報をよりよく捉えることで、あらゆるスケール要因において最先端の性能を達成し、ベースラインの暗黙的モデルよりも一貫した向上を示し、他の暗黙的アーキテクチャへも一般化可能である。

ABSTRACT

Is the center position fully capable of representing a pixel? There is nothing wrong to represent pixels with their centers in a discrete image representation, but it makes more sense to consider each pixel as the aggregation of signals from a local area in an image super-resolution (SR) context. Despite the great capability of coordinate-based implicit representation in the field of arbitrary-scale image SR, this area's nature of pixels is not fully considered. To this end, we propose integrated positional encoding (IPE), extending traditional positional encoding by aggregating frequency information over the pixel area. We apply IPE to the state-of-the-art arbitrary-scale image super-resolution method: local implicit image function (LIIF), presenting IPE-LIIF. We show the effectiveness of IPE-LIIF by quantitative and qualitative evaluations, and further demonstrate the generalization ability of IPE to larger image scales and multiple implicit-based methods. Code will be released.

研究の動機と目的

• 暗黙的画像超解像における中心座標表現の限界を解消すること。これは、画素領域における光の物理的集積をモデル化できないことによる。
• 各画素の空間的拡大を反映したスケールおよび位置に依存する符号化を組み込むことで、任意スケールの超解像における高周波数ディテール回復を向上させること。
• 複数のアーキテクチャおよびスケール要因にわたって暗黙的ニューラルネットワークを強化できる汎用性の高い位置符号化技術を開発すること。
• 画素を点サンプルではなく領域統合信号としてモデル化することで、より正確で視覚的に自然な超解像結果が得られることを示すこと。

提案手法

• IPEは、予測対象の画素領域全体にわたる位置符号化の積分を計算し、標準的な座標ベースの位置符号化に代わる。
• 帯域幅Lを用いた正弦および余弦項を含む閉形式解を用いて、画素領域全体にわたる周波数成分を統合する。
• IPEは局所的特徴ベクトルと連結され、暗黙的デコーダに供給され、LIIFにおける標準的な座標入力に置き換わる。
• Meta-SR や LIIF などの既存の暗黙的モデルとも互換性を保ち、プラグアンドプレイでの統合を可能にする。
• IPEと組み合わせて学習可能なセルサイズ入力を用いることでスケール一般化が向上するが、アブレーションでは、分布外スケールでは性能が低下する可能性があることが示された。
• スケール要因にかかわらず、特徴伝搬を強化し、性能を向上させるために、暗黙的デコーダにスキップ接続を用いる。

実験結果

リサーチクエスチョン

• RQ1 画素領域全体にわたる位置符号化の統合は、任意スケールの画像超解像における高周波数ディテール回復を向上させることができるか？
• RQ2 点サンプルではなく領域統合信号として画素をモデル化することで、多様なスケール要因にわたる一般化が向上するか？
• RQ3 IPEはLIIFを越える複数の暗黙的ベースの超解像アーキテクチャへ効果的に一般化可能か？
• RQ4 IPEは標準的な位置符号化やセルデコーディングと比較して、分布内および分布外スケールにおいて性能とロバスト性に優れているか？

主な発見

• IPE-LIIFはDIV2Kデータセットで最先端の性能を達成し、×2でPSNR 34.72、×3で31.01、×4で29.04、×6で26.79、×18で22.21、×30で20.51を記録した。
• IPE-LIIFは、すべてのスケール要因において、標準LIIFおよび単純な位置符号化を用いたLIIFを上回り、PSNRおよび視覚的品質の両面で一貫した向上を示した。
• アブレーションスタディの結果、IPEの帯域幅LをL=10を超えて増加させても、高周波数項による収益の逓減により、性能向上はほとんど得られなかった。
• IPEとセルデコーディングを併用すると、分布外スケールでの性能が低下したため、IPE単体がよりロバストで一般化性に優れたソリューションであることが示された。
• 暗黙的デコーダにおけるスキップ接続は、すべてのスケールで性能を顕著に向上させ、特徴学習の強化およびネットワークの深さの柔軟性を高める役割を果たすことが確認された。
• IPEは他の暗黙的モデルへも良好に一般化される：IPE-MetaSRは×2で34.51、×3で30.86、×4で28.94、×6で26.74、×18で23.71のPSNRを達成し、元のMeta-SRおよびPEを用いたMeta-SRを上回った。