[論文レビュー] Downscaled Representation Matters: Improving Image Rescaling with Collaborative Downscaled Images

Bingna Xu, Yong Guo+3 more|arXiv (Cornell University)|Nov 19, 2022

Seismic Imaging and Inversion Techniques被引用数 4

ひとこと要約

本稿では、再構成損失に関する勾配降下を用いて、高分解能（HR）および低分解能（LR）表現を反復的に最適化することで、画像スケーリングを向上させる、階層的協調的ダウンスケーリング（HCD）という新規手法を提案する。勾配降下を用いてLR例を協調的に生成することで、アップスケーリングの遅延を増加させることなく、ベースライン手法よりも最大1.29 dBのPSNR向上を達成する。

ABSTRACT

Deep networks have achieved great success in image rescaling (IR) task that seeks to learn the optimal downscaled representations, i.e., low-resolution (LR) images, to reconstruct the original high-resolution (HR) images. Compared with super-resolution methods that consider a fixed downscaling scheme, e.g., bicubic, IR often achieves significantly better reconstruction performance thanks to the learned downscaled representations. This highlights the importance of a good downscaled representation in image reconstruction tasks. Existing IR methods mainly learn the downscaled representation by jointly optimizing the downscaling and upscaling models. Unlike them, we seek to improve the downscaled representation through a different and more direct way: optimizing the downscaled image itself instead of the down-/upscaling models. Specifically, we propose a collaborative downscaling scheme that directly generates the collaborative LR examples by descending the gradient w.r.t. the reconstruction loss on them to benefit the IR process. Furthermore, since LR images are downscaled from the corresponding HR images, one can also improve the downscaled representation if we have a better representation in the HR domain. Inspired by this, we propose a Hierarchical Collaborative Downscaling (HCD) method that performs gradient descent in both HR and LR domains to improve the downscaled representations. Extensive experiments show that our HCD significantly improves the reconstruction performance both quantitatively and qualitatively. Moreover, we also highlight the flexibility of our HCD since it can generalize well across diverse IR models.

研究の動機と目的

• モデルパラメータの最適化に依存するのではなく、ダウンスケール表現そのものを直接最適化することで、画像スケーリングの性能を向上させること。
• 超解像における固定されたダウンスケーリングカーネルの制限を克服し、より良い適応的ダウンスケール表現を学習すること。
• HRおよびLRドメインにおける協調学習を通じて再構成品質を向上させる手法を開発すること。
• アップスケーリング段階での追加計算コストを回避することで、実用性を確保すること。

提案手法

• 再構成損失に関する勾配降下をLR表現に対して実行することで、より優れたダウンスケール例を生成する協調的ダウンスケーリング方式を提案する。
• HRおよびLRドメインの両方で表現を交互に最適化する階層的最適化フレームワークを導入し、ダウンスケール出力を精緻化する。
• HRおよびLR表現間の依存関係をモデル化する二段階最適化定式化を用い、両ドメインで反復的リファインメントを実施する。
• 更新の大きさと安定性を制御するため、摂動予算と内部ステップサイズを用いる。
• 再構成損失に関する勾配を降下することで、エッジや輪郭などの高周波成分領域に焦点を当てて、協調的例を生成する。
• 元の画像から出発し、複数回の反復を経て精緻化する、HRおよびLR表現の交互更新により最適化問題を解く。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータの最適化に依存せず、ダウンスケール表現そのものを直接最適化することで、より良い画像再構成性能が達成可能か？
• RQ2 HRおよびLRドメインにおける階層的最適化は、ダウンスケール表現の品質をどのように向上させるか？
• RQ3 反復的リファインメントの影響は、最終的な再構成品質および収束挙動にどのような影響を与えるか？
• RQ4 提案手法は、アップスケーリング遅延を増加させることなく、さまざまな画像スケーリングモデルに一般化可能か？

主な発見

• HCDは、勾配降下を用いて協調的LR例を生成する際、ベースライン手法HCFlowに対して最大1.29 dBのPSNR向上を達成する。
• 階層的協調学習スキームは、HRまたはLRのいずれかの協調的例のみを用いる場合に比べ、0.22–0.3 dBの性能向上を示し、両ドメイン間の相乗効果を実証する。
• 15反復後には性能が収束し、N=15以降では顕著な向上が見られないため、少数のステップで収束することが示された。
• 15反復のダウンスケーリング遅延はわずか3.97秒増加するが、アップスケーリング段階には追加の遅延を一切導入しない。
• 可視化結果から、摂動が目やバタフライの羽根などの高周波成分領域に集中していることが示され、微細なディテールの的確な強化が行われていることがわかる。
• IRNやHCFlowといった多様なバックボーンで一貫した性能向上が得られることから、異なるIRモデルに対しても本手法は良好に一般化可能である。