[論文レビュー] Image Quality Assessment Guided Deep Neural Networks Training

Zhuo Chen, Weisi Lin+3 more|arXiv (Cornell University)|Aug 13, 2017

Image Enhancement Techniques参考文献 16被引用数 10

ひとこと要約

本稿では、画像歪みに対する深層ニューラルネットワークのロバスト性を向上させるために、画像品質評価（IQA）ガイド付きラベルスムージング手法を提案する。訓練に歪んだ画像を組み込み、IQA指標を用いてラベル分布を正則化することで、モデルの一般化性能が向上し、複数の歪みタイプおよびレベルにおいて、高品質および低品質の両方の画像で優れた精度を達成する。

ABSTRACT

For many computer vision problems, the deep neural networks are trained and validated based on the assumption that the input images are pristine (i.e., artifact-free). However, digital images are subject to a wide range of distortions in real application scenarios, while the practical issues regarding image quality in high level visual information understanding have been largely ignored. In this paper, in view of the fact that most widely deployed deep learning models are susceptible to various image distortions, the distorted images are involved for data augmentation in the deep neural network training process to learn a reliable model for practical applications. In particular, an image quality assessment based label smoothing method, which aims at regularizing the label distribution of training images, is further proposed to tune the objective functions in learning the neural network. Experimental results show that the proposed method is effective in dealing with both low and high quality images in the typical image classification task.

研究の動機と目的

• 実用的な応用で一般的に見られる歪みのある画像でテストされた際の深層学習モデルのロバスト性の欠如を補うため。
• 画像品質評価（IQA）指標が、実用的な画像理解タスクのための深層ニューラルネットワークの訓練にどのように活用できるかを調査するため。
• IQAスコアに基づいてラベルスムージングを正則化するラベルスムージング技術を開発し、画像品質の変動する条件下でのモデル一般化を改善するため。
• IQAガイド付き訓練の有効性を、複数の歪みタイプ（ぼかし、ノイズ、JPEG）および品質レベルで評価するため。

提案手法

• 本手法は、本物の画像と歪んだ画像の混合物を用いて深層ニューラルネットワークを訓練し、現実の画像品質のばらつきを模擬する。
• IQAに基づくラベルスムージング手法を提案し、訓練中のラベル分布を正則化する。IQAスコアを用いて、訓練ラベルの信頼度を調整する。
• ラベルスムージングは、交差エントロピーの目的関数を変更することで実現され、画像品質の推定に基づいて過信度の高い予測をペナルティ化する。
• IQA指標（例：SSIM、FSIM）を用いて歪んだ画像に品質スコアを割り当て、ラベルスムージングプロセスに情報を提供する。
• 複数の歪みタイプおよびレベルで評価され、CIFAR-10およびImageNetにおけるTop-1およびTop-5精度を指標に性能を測定する。
• 本手法は、本物のデータでのベースライン訓練およびラベルスムージングなしの混合データでの訓練と比較され、より優れたロバスト性と一般化性能を示す。

実験結果

リサーチクエスチョン

• RQ1 訓練データに歪んだ画像を組み込むと、低品質入力における深層ニューラルネットワークの性能にどのような影響を与えるか？
• RQ2 IQAガイド付きラベルスムージングは、画像品質レベルの変動する条件下でも、深層ニューラルネットワークの一般化を改善できるか？
• RQ3 提案されたIQAベースのラベルスムージングは、モデルの信頼度スコアにおいて人間の不確実性推定に類似した挙動を示すか？
• RQ4 標準的な訓練戦略と比較して、本手法はぼかし、ノイズ、JPEGなどの異なる歪みタイプにおいてどのように性能を発揮するか？

主な発見

• 提案されたIQAガイド付きラベルスムージング手法は、本物のデータでの標準的訓練と比較して、本物の画像および歪んだ画像の両方で分類精度を顕著に向上させる。
• IQAベースのラベルスムージングで訓練されたモデルは、極度に歪んだ画像（例：レベル3のぼかし）ではわずかな性能低下を示すが、品質レベルにかかわらず安定的かつ信頼性のある予測を維持する。
• 本手法により、歪みの増加に伴い減少する、より滑らかで人間の感覚に類似した信頼度スコアが得られる。
• IQAベースのラベルスムージングの優位性は、複数の歪みタイプを含む混合データでの訓練時において最も顕著に現れ、より強い一般化性能を示す。
• ラベルスムージングなしの混合データでの訓練と比較して、IQA-LSアプローチは重度に歪んだサンプルへの過学習を低減し、高品質入力の性能を向上させる。
• 本手法は、ぼかし、ノイズ、JPEGのすべてのテスト歪みタイプで一貫した性能向上を達成し、広範な適用可能性を示している。