[論文レビュー] Underwater Ranker: Learn Which Is Better and How to Be Better

Chunle Guo, Ruiqi Wu+5 more|arXiv (Cornell University)|Aug 14, 2022

Image Enhancement Techniques被引用数 11

ひとこと要約

本稿では、ヒストグラム事前知識と動的クロススケール照合を備えた畳み込み注意Transformerを用いた、ランクベースの水中画像品質評価（UIQA）手法URankerを提案する。本手法は、グローバルおよびローカルな劣化をモデル化でき、UIQAで最先端の性能を達成するとともに、微分可能損失として用いることで水中画像強調（UIE）の性能を向上させ、新規データセットURankerSetと新たな正規化テールによりさらに性能向上を実現した。

ABSTRACT

In this paper, we present a ranking-based underwater image quality assessment (UIQA) method, abbreviated as URanker. The URanker is built on the efficient conv-attentional image Transformer. In terms of underwater images, we specially devise (1) the histogram prior that embeds the color distribution of an underwater image as histogram token to attend global degradation and (2) the dynamic cross-scale correspondence to model local degradation. The final prediction depends on the class tokens from different scales, which comprehensively considers multi-scale dependencies. With the margin ranking loss, our URanker can accurately rank the order of underwater images of the same scene enhanced by different underwater image enhancement (UIE) algorithms according to their visual quality. To achieve that, we also contribute a dataset, URankerSet, containing sufficient results enhanced by different UIE algorithms and the corresponding perceptual rankings, to train our URanker. Apart from the good performance of URanker, we found that a simple U-shape UIE network can obtain promising performance when it is coupled with our pre-trained URanker as additional supervision. In addition, we also propose a normalization tail that can significantly improve the performance of UIE networks. Extensive experiments demonstrate the state-of-the-art performance of our method. The key designs of our method are discussed. We will release our dataset and code.

研究の動機と目的

• 多様な劣化条件下における従来のフルレファレンスおよびノンレファレンスUIQA手法の限界を克服すること。
• 固定の手作業による指標やグランドトゥルースレファレンスに依存しない学習ベースのランク付けアプローチを開発すること。
• 複数のUIEアルゴリズムによる知覚的ランク付け結果を含む、URankerSetという新規データセットを構築すること。
• 訓練済みのURankerを微分可能損失として用いてUIEネットワークの性能を向上させること。
• 視覚的品質の向上に顕著な効果を示す、シンプルだが効果的な正規化テールを導入すること。

提案手法

• URankerモデルは、多スケール特徴量と依存関係を捉えるために、効率的な畳み込み注意型画像Transformerを基盤として構築されている。
• ヒストグラム事前知識モジュール（HPM）は、水中画像の色分布をヒストグラムトークンとして埋め込み、グローバルな劣化に注目する。
• 動的クロススケール照合（DCPB）機構は、スケール間の特徴量を適応的に統合することで、ローカルな劣化をモデル化する。
• 最終的な予測は、複数スケールにおけるクラストークンから得られ、多スケールの文脈的情報が統合される。
• モデルは、知覚的ランク付け結果を含むURankerSetデータセット上でマージンランク損失を用いて訓練される。
• 特徴量分布の安定化によりUIEネットワーク性能を向上させるため、微分可能な正規化テールが提案されている。

実験結果

リサーチクエスチョン

• RQ1 ランクベースの学習アプローチは、UCIQE や UIQM といった従来のノンレファレンスUIQA指標を上回って水中画像品質を評価できるか？
• RQ2 ヒストグラム事前知識は、水中画像におけるグローバルな色の劣化を評価するために効果的か？
• RQ3 動的クロススケール特徴量統合は、UIQAにおけるローカル画像劣化のモデル化を向上させられるか？
• RQ4 事前学習済みのURankerが、UIEネットワーク性能の向上に向けた微分可能な監視信号としてどの程度有効か？
• RQ5 シンプルな正規化テールは、UIE結果の視覚的品質を顕著に向上させるか？

主な発見

• URankerは、URankerSetデータセットにおいて、SRCC 0.8655、KRCC 0.7402 の最先端性能を達成した。
• ヒストグラム事前知識モジュール（HPM）は顕著な寄与を示しており、削除するとSRCCが0.80%低下し、KRCCが0.28%低下した。
• 動的クロススケール照合ブロック（DCPB）は、密度接続や近隣接続といった固定接続パターンを上回り、全モデルで最高のランク精度を達成した。
• 事前学習済みのURankerを追加損失として用いることで、3つのUIEネットワークでPSNRが最大2.456 dB向上し、SSIMが0.039向上した。
• 提案された正規化テールにより、PSNRは18.857から22.419に、SSIMは0.8682から0.9227に向上し、その有効性が示された。
• URanker監視と正規化テールを備えたNU2Netモデルは、最先端の性能を達成し、WaterNet や Ucolor を上回った。