[論文レビュー] Learning Foveated Reconstruction to Preserve Perceived Image Statistics.

Luca Surace, Marek Wernikowski+4 more|arXiv (Cornell University)|Aug 7, 2021

Advanced Image Processing Techniques参考文献 55被引用数 5

ひとこと要約

本稿では、人間の視覚的感度に基づくサンプル密度感受性を組み込み、生成モデルが知覚的に重要なずれを最小化するように訓練することで、知覚的画像統計を保持するGANを用いた注視点画像再構成手法を提案する。このアプローチにより、疎なサンプリング下でも視覚的忠実度が向上し、ユーザー研究および新しい目的指標においてベースライン手法を上回る結果を得た。

ABSTRACT

Foveated image reconstruction recovers full image from a sparse set of samples distributed according to the human visual system's retinal sensitivity that rapidly drops with eccentricity. Recently, the use of Generative Adversarial Networks was shown to be a promising solution for such a task as they can successfully hallucinate missing image information. Like for other supervised learning approaches, also for this one, the definition of the loss function and training strategy heavily influences the output quality. In this work, we pose the question of how to efficiently guide the training of foveated reconstruction techniques such that they are fully aware of the human visual system's capabilities and limitations, and therefore, reconstruct visually important image features. Due to the nature of GAN-based solutions, we concentrate on the human's sensitivity to hallucination for different input sample densities. We present new psychophysical experiments, a dataset, and a procedure for training foveated image reconstruction. The strategy provides flexibility to the generator network by penalizing only perceptually important deviations in the output. As a result, the method aims to preserve perceived image statistics rather than natural image statistics. We evaluate our strategy and compare it to alternative solutions using a newly trained objective metric and user experiments.

研究の動機と目的

• 疎なサンプルしか利用できない注視点画像再構成の課題に取り組み、人間の網膜感度を模倣する。
• さまざまなサンプル密度における人間視覚系（HVS）のホラークネーション感受性に合わせて訓練を調整することで、再構成品質を向上させる。
• 自然画像統計の保持から、人間の視覚認識により適した「知覚的画像統計」の保持へと焦点を移す。
• 再構成画像における知覚的に顕著なずれにのみペナルティを与える柔軟な訓練戦略を開発する。
• 新規の目的指標と制御されたユーザー実験を用いて、知覚的品質の向上を評価する。

提案手法

• 異なる入力サンプル密度におけるホラークネーションに対する人間の感受性を定量化するための新しい心理物理学実験を実施する。
• これらの実験から得たデータセットを活用し、現実的なHVS制約下で注視点再構成モデルの訓練と評価を実施する。
• HVS感受性を動的ペナルティ関数として用い、知覚的重要性に基づいて損失を重み付する訓練手順を設計する。
• 疎な注視点サンプルから完全な画像を再構成するGANベースの生成器を採用し、知覚的に顕著な誤差を最小化するように学習させる。
• 中心視野（鋭視領域）に注目し、周辺視野（遠心領域）の誤差を低減する知覚的にインフォームドな損失関数を適用する。
• 新たに訓練された目的指標と制御されたユーザー実験を用いて、本手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 注視点画像再構成において、人間のホラークネーション感受性は入力サンプル密度にどのように依存するか？
• RQ2 GANベースの再構成モデルは、自然画像統計ではなく知覚的画像統計を保持するようにどれほど適応的に制御できるか？
• RQ3 心理物理学的にインフォームドされた訓練戦略は、注視点画像再構成における知覚的品質を向上させることができるか？
• RQ4 本手法は、ベースラインのGANおよび従来の再構成技術と比較して、ユーザー実験および目的指標においてどのように差をつけるか？

主な発見

• 知覚的に重要な領域に焦点を当てた訓練により、本手法は著しく知覚的品質を向上させ、中心視野における目立つアーティファクトを低減した。
• ユーザー実験の結果、本手法で用いられるHVSに配慮した訓練戦略により生成された再構成画像は、ベースラインGANよりも統計的に有意に好まれた。
• 新規に開発された目的指標は人間の知覚と強く相関しており、注視点再構成品質の評価に有効であることが裏付けられた。
• 本手法は、知覚的品質の鍵をなす高コントラスト領域やエッジが豊富な領域において、中心視野の正確性を優先することで、より高い再構成忠実度を達成した。
• 本手法はさまざまなサンプル密度にわたり頑健であり、極めて低いサンプリングレート下でも知覚的品質を維持した。
• 結果から、自然画像統計の保持よりも知覚的画像統計の保持が、より自然で現実的な再構成をもたらすことが確認された。