[論文レビュー] Approaching the Limit of Image Rescaling via Flow Guidance

Shang Li, Guixuan Zhang+4 more|arXiv (Cornell University)|Nov 9, 2021

Advanced Image Processing Techniques参考文献 36被引用数 5

ひとこと要約

本稿では、画像再スケーリングにおけるバイキュービック低解像度（LR）ガイドの制約を排除するため、可逆なフローディレクションモジュール（FGM）を導入したフローディレクションリスケーリングネットワーク（FGRN）を提案する。FGMにより、低スケール表現と視覚的に妥当なLR画像の間で損失なしの変換が可能となり、ダウンスケーリングとアップスケーリングのエンドツーエンド同時最適化が可能になり、最適な高解像度再構成が実現される。本手法はパラメータ数を少なく抑えつつ、最先端の性能を達成する。

ABSTRACT

Image downscaling and upscaling are two basic rescaling operations. Once the image is downscaled, it is difficult to be reconstructed via upscaling due to the loss of information. To make these two processes more compatible and improve the reconstruction performance, some efforts model them as a joint encoding-decoding task, with the constraint that the downscaled (i.e. encoded) low-resolution (LR) image must preserve the original visual appearance. To implement this constraint, most methods guide the downscaling module by supervising it with the bicubically downscaled LR version of the original high-resolution (HR) image. However, this bicubic LR guidance may be suboptimal for the subsequent upscaling (i.e. decoding) and restrict the final reconstruction performance. In this paper, instead of directly applying the LR guidance, we propose an additional invertible flow guidance module (FGM), which can transform the downscaled representation to the visually plausible image during downscaling and transform it back during upscaling. Benefiting from the invertibility of FGM, the downscaled representation could get rid of the LR guidance and would not disturb the downscaling-upscaling process. It allows us to remove the restrictions on the downscaling module and optimize the downscaling and upscaling modules in an end-to-end manner. In this way, these two modules could cooperate to maximize the HR reconstruction performance. Extensive experiments demonstrate that the proposed method can achieve state-of-the-art (SotA) performance on both downscaled and reconstructed images.

研究の動機と目的

• バイキュービックLRガイドの制限を解消し、ダウンスケーリングされた画像の視覚的品質を向上させても、アップスケーリング性能が制限される問題に対処すること。
• ダウンスケールド表現の視覚的妥当性に制約を課すことなく、ダウンスケーリングとアップスケーリングモジュールの統合的エンドツーエンド最適化を可能にすること。
• ダウンスケールド表現をアップスケーリング最適化に特化させることで、高解像度再構成性能を最大化すること。
• 損失なしの変換が可能で、表現と視覚的に好ましいLR画像の間を自在に行える、軽量な可逆なフローディレクションモジュール（FGM）を設計すること。

提案手法

• ダウンスケーリング時に低スケール表現を視覚的に妥当なLR画像に変換し、アップスケーリング時にその逆変換を実行する可逆なフローディレクションモジュール（FGM）を導入する。
• FGMを用いて視覚的品質の制約をダウンスケーリングプロセスから分離し、ダウンスケールド表現をアップスケーリング性能最適化に特化して最適化可能にする。
• ダウンスケーリングモジュールにLRガイドを一切与えず、ダウンスケーリングとアップスケーリングモジュールを同時に最適化するエンドツーエンド学習戦略を採用する。
• FGMの可逆性を活用し、表現からLR画像への変換およびその逆変換が損失なしであることを保証することで、再構成に必要な情報を完全に保持する。
• バイキュービックLRガイドの代わりにFGMによる監視を導入することで、アップスケーリング最適化とより整合性の高いフレームワークを実現する。
• FGMが視覚的忠実度を保ちつつ最適な表現学習を可能にするため、エンコーディング・デコーディングフレームワークを用いてネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 ダウンスケーリング時にバイキュービックLRガイドの制約を除去することで、画像アップスケーリングの性能向上が図れるか？
• RQ2 可逆なフローディレクションモジュールが、視覚的品質を保持しつつダウンスケーリングとアップスケーリングのエンドツーエンド最適化を可能にするか？
• RQ3 ダウンスケールド画像の視覚的品質と表現学習を分離することで、より優れた高解像度再構成が達成できるか？
• RQ4 視覚的に妥当なLR出力の品質を損なわずに、ダウンスケールド表現をアップスケーリング最適化に特化させられるか？

主な発見

• 提案されたFGRNは、×4スケールにおけるSet5データセットでPSNR 36.16 dB、SSIM 0.9460を達成し、ベースラインおよびバイキュービックガイド付きモデルを上回る性能を示した。
• DIV2Kデータセットでは、×4スケールでPSNR 35.14 dB、SSIM 0.9341を達成し、再構成性能の上限に近づいた。
• アブレーションスタディの結果、FGMを搭載したDU_flowは、性能のトレードオフに苦しむバイキュービックガイド付きのDU_bicと比較して、より優れたダウンスケーリング品質とHR再構成性能を示した。
• FGM搭載モデルは、理論的にはアップスケーリングに最適なDU_none（ダウンスケーリングガイドなし）よりも優れた再構成性能を達成したが、これはFGMが視覚的品質を維持できる能力に起因する。
• FGMベースの手法は、競合手法と比較してパラメータ数を大幅に削減しながらも、再構成性能を顕著に向上させ、効率性と有効性を両立した。
• 実験により、IRNにおける潜在変数が特定の高周波数補償を提供していないことが確認され、情報損失がアップスケーリングモジュール内で暗黙的に学習されていることが示された。これは、FGRNが示すようなより良い表現学習の必要性を裏付けている。