[論文レビュー] Multi-task deep CNN model for no-reference image quality assessment on smartphone camera photos

Chen-Hsiu Huang, Ja‐Ling Wu|arXiv (Cornell University)|Aug 27, 2020

Image and Video Quality Assessment参考文献 19被引用数 6

ひとこと要約

本稿では、スマートフォンカメラの写真において、共通の畳み込み特徴を活用して、ノーリファレンス画像品質を同時に予測し、シーンタイプを検出するマルチタスク深層畳み込みニューラルネットワーク（DCNNS）モデルを提案する。この手法は、SCPQD2020データセットにおいて、SROCC性能をSOTA（最先端）水準にまで向上させ、シーンに配慮した特徴学習が、本物のスマートフォン画像品質予測の精度向上に寄与することを示している。

ABSTRACT

Smartphone is the most successful consumer electronic product in today's mobile social network era. The smartphone camera quality and its image post-processing capability is the dominant factor that impacts consumer's buying decision. However, the quality evaluation of photos taken from smartphones remains a labor-intensive work and relies on professional photographers and experts. As an extension of the prior CNN-based NR-IQA approach, we propose a multi-task deep CNN model with scene type detection as an auxiliary task. With the shared model parameters in the convolution layer, the learned feature maps could become more scene-relevant and enhance the performance. The evaluation result shows improved SROCC performance compared to traditional NR-IQA methods and single task CNN-based models.

研究の動機と目的

• スマートフォンのカメラで撮影された本物の写真に特化した効果的なノーリファレンスIQA手法の不足に応えること。これらの画像は通常歪みがなく、ISP処理の影響で主観的な品質が異なる。
• 合成歪みを想定して設計された従来のNR-IQA手法の限界を克服すること。これらの手法は、現実世界のスマートフォン画像では性能を発揮しない。
• 共通のCNNアーキテクチャ内で、シーンタイプ検出を補助タスクとして導入することで、特徴学習をガイドし、品質予測の精度を向上させること。
• マルチタスク学習によりシーンコンテキストを統合することで、現実世界のスマートフォン写真における画像品質評価のための特徴表現が向上することを実証すること。

提案手法

• 共通の畳み込み層を用いて、ノーリファレンス画像品質予測とシーンタイプ分類を同時に実行するマルチタスク深層畳み込みニューラルネットワーク（DCNNS）モデルを提案する。
• 訓練用の補助的シーン検出タスクのため、自動的にシーンタイプをラベル付けする簡単な画像クラスタリング手法を用いる。
• 品質予測損失とシーン分類損失の両方を含む統合損失関数を用いて、ネットワークをエンドツーエンドで訓練する。
• 品質予測とシーン理解の両方に最適化された、共通の畳み込み層から特徴を抽出する。
• 局所的なシーンおよび品質分析を可能にするために、64×64の画像パッチを用いる。
• 共有表現を活用することで、一般化性能と特徴のシーン関連性を向上させ、特に複雑な領域や低コントラスト領域において有効である。

実験結果

リサーチクエスチョン

• RQ1 補助タスクとしてのシーンタイプ検出は、スマートフォンカメラの写真におけるノーリファレンス画像品質評価の性能向上に寄与するか？
• RQ2 共通の畳み込み特徴を用いたマルチタスク学習は、単一タスクモデルと比較して、品質予測の一般化性能と精度にどのような影響を与えるか？
• RQ3 シーン検出の精度と、実際のスマートフォン画像における品質予測性能（SROCC）の相関関係はどの程度か？
• RQ4 なぜ一部の画像（特に夜景）では、シーン検出精度が低く、品質予測性能が劣化するのか？
• RQ5 合成歪みのない生のスマートフォン画像から、マルチタスクCNNアーキテクチャが効果的にシーン関連特徴を学習できるか？

主な発見

• 提案手法DCNNSは、SCPQD2020データセットにおいて、テクスチャで0.4899、色で0.4979、ノイズで0.4723、露出で0.4349のSROCCを達成し、従来のNR-IQA手法および単一タスクCNNベースラインを上回る性能を示した。
• シーン検出精度が高い画像（例：画像85で0.7785）は、SROCCスコアも顕著に高く（テクスチャで0.5869）、一方で精度が低い画像（例：画像55で0.0289、SROCC 0.4286）はSROCCが低かった。
• バランスの取れた照明と複雑なテクスチャを持つ画像（シーン1）では、シーン分類精度とSROCCの両方が高く、モデルの性能が顕著に現れている。
• 夜景（シーン0）は、平均精度が0.04未満にとどまり、最も困難な分類タスクであり、これは低SROCCスコアと相関しており、主な制限要因であることが示された。
• 補助的シーンタスクが特徴学習を向上させたことが、シーン分類精度が高い画像でSROCCが高くなることから裏付けられ、マルチタスク学習の有効性が確認された。
• 改善は見られたが、局所的なシーンの不一致（同じ画像からのパッチが異なるシーンカテゴリに誤分類される）が問題となり、最適化プロセスに悪影響を与えることが判明した。