[論文レビュー] A Multi-task convolutional neural network for blind stereoscopic image quality assessment using naturalness analysis

Salima Bourbia, Ayoub Karine+2 more|arXiv (Cornell University)|Jun 17, 2021

Image and Video Quality Assessment参考文献 27被引用数 9

ひとこと要約

本稿では、自然性に基づく特徴量を補助タスクとして活用することで品質予測を向上させる、盲目的ステレオ画像品質評価（NR-SIQA）のためのマルチタスク畳み込みニューラルネットワークを提案する。二重ストリームCNNアーキテクチャを用いて両眼視および視差特徴を統合し、複素ウェーブレット領域における自然シーン統計（NSS）を適用することで、特に非対称歪みにおいて最先端の性能を達成し、PLCCスコアはLIVE PHASE Iで0.957、LIVE PHASE IIで0.921を記録した。

ABSTRACT

This paper addresses the problem of blind stereoscopic image quality assessment (NR-SIQA) using a new multi-task deep learning based-method. In the field of stereoscopic vision, the information is fairly distributed between the left and right views as well as the binocular phenomenon. In this work, we propose to integrate these characteristics to estimate the quality of stereoscopic images without reference through a convolutional neural network. Our method is based on two main tasks: the first task predicts naturalness analysis based features adapted to stereo images, while the second task predicts the quality of such images. The former, so-called auxiliary task, aims to find more robust and relevant features to improve the quality prediction. To do this, we compute naturalness-based features using a Natural Scene Statistics (NSS) model in the complex wavelet domain. It allows to capture the statistical dependency between pairs of the stereoscopic images. Experiments are conducted on the well known LIVE PHASE I and LIVE PHASE II databases. The results obtained show the relevance of our method when comparing with those of the state-of-the-art. Our code is available online on https://github.com/Bourbia-Salima/multitask-cnn-nrsiqa_2021.

研究の動機と目的

• 参照画像なしで盲目的地理的ステレオ画像品質評価（NR-SIQA）を解決すること。
• 左視野と右視野の間の統計的依存関係を活用することで、品質予測を向上させること。
• 複素ウェーブレット領域における自然シーン統計（NSS）を用いた自然性分析に基づく補助タスクを通じて、特徴量学習を強化すること。
• 対称的および非対称的歪みの両方に対して一般化性の高い深層学習フレームワークを開発すること。
• 標準的な評価指標を用いて、標準公開データベース（LIVE PHASE IおよびII）上で本手法の有効性を検証すること。

提案手法

• 本手法は、二つの主要タスクを有するマルチタスクCNNを採用する：(1) 複素ウェーブレット領域におけるNSSを用いた自然性特徴量の予測、(2) ステレオ画像の品質スコアの予測。
• 特徴量は4つのサブネットワーク（左視野用と右視野用のAおよびB、初期統合用のC、後期統合用のD）を介して抽出され、両眼視および視差特性を捉える。
• 正規化された32×32の画像パッチをストライド24で用いて訓練することで、限られたデータセット上でもロバスト性を確保し、過学習を回避する。
• 補助タスクとしての自然性特徴量予測は、特徴量の連結によって統合され、主タスクの品質予測性能が向上する。
• 最終的な特徴ベクトル（2048次元）は、品質スコアの回帰に用いられるマルチレイヤーパーセプトロンに供給される。
• モデルは60/20/20ホールドアウト交差検証プロトコルを用いて訓練され、訓練・検証・テストセットの独立性が保証される。

実験結果

リサーチクエスチョン

• RQ1 複素ウェーブレット領域における自然シーン統計（NSS）から導出される自然性ベースの特徴量は、盲目的地理的ステレオ画像品質評価を向上させることができるか？
• RQ2 自然性特徴量予測の補助タスクを組み込むことで、NR-SIQAにおける主タスクの品質予測性能が向上するか？
• RQ3 提案手法のマルチタスクCNNは、対称的および非対称的歪みの両方において、最先端手法と比較してどのように性能を発揮するか？
• RQ4 ステレオペア間の統計的依存関係が、より良い品質予測にどの程度寄与するか？
• RQ5 提案手法は、多様な歪みタイプおよびデータベース（LIVE PHASE IおよびII）に対してロバストであるか？

主な発見

• 提案手法はLIVE PHASE IでPLCC 0.957、LIVE PHASE IIで0.921を達成し、既存の最先端手法を上回った。
• SROCCはLIVE PHASE Iで0.942、LIVE PHASE IIで0.915を記録し、品質予測の強い単調性を示した。
• LIVE PHASE IIでは、対称的歪み（0.918）および非対称的歪み（0.896）の両方で最高のSROCCを達成し、ロバスト性を実証した。
• アブレーションスタディにより、補助タスクの自然性特徴量予測を削除すると性能が低下（LIVE PHASE IでPLCCが0.953に低下）することが確認され、その有効性が裏付けられた。
• 自然性特徴量予測のRMSEはLIVE PHASE Iで0.391、LIVE PHASE IIで0.416であり、補助タスクの正確な性能を示した。
• 本手法は非対称歪みにおいて優れた一般化性能を示し、従来手法がしばしば性能を発揮できない分野で顕著な優位性を示した。