[論文レビュー] Effects of Image Degradations to CNN-based Image Classification

Yanting Pei, Yaping Huang+4 more|arXiv (Cornell University)|Oct 12, 2018

Image Enhancement Techniques参考文献 26被引用数 17

ひとこと要約

本稿は、haze（霞）、水中環境、運動歪み、魚眼歪みの4つの一般的な画像劣化がCNNベースの画像分類に与える影響を実験的に調査している。物理モデルを用いた合成データセットと実際の霞がかった画像を用い、分類精度が劣化によって著しく低下すること、特に学習データとテストデータの劣化レベルが一致しない場合に顕著に現れることを示している。また、除霧や除歪みアルゴリズムによる事前処理は、劣化データへの直接学習に比べて僅かな利点しか得られないことを明らかにした。

ABSTRACT

Just like many other topics in computer vision, image classification has achieved significant progress recently by using deep-learning neural networks, especially the Convolutional Neural Networks (CNN). Most of the existing works are focused on classifying very clear natural images, evidenced by the widely used image databases such as Caltech-256, PASCAL VOCs and ImageNet. However, in many real applications, the acquired images may contain certain degradations that lead to various kinds of blurring, noise, and distortions. One important and interesting problem is the effect of such degradations to the performance of CNN-based image classification. More specifically, we wonder whether image-classification performance drops with each kind of degradation, whether this drop can be avoided by including degraded images into training, and whether existing computer vision algorithms that attempt to remove such degradations can help improve the image-classification performance. In this paper, we empirically study this problem for four kinds of degraded images -- hazy images, underwater images, motion-blurred images and fish-eye images. For this study, we synthesize a large number of such degraded images by applying respective physical models to the clear natural images and collect a new hazy image dataset from the Internet. We expect this work can draw more interests from the community to study the classification of degraded images.

研究の動機と目的

• 一般的な画像劣化がCNNベースの画像分類モデルの性能に与える影響を調査すること。
• クリアな画像で学習し、劣化した画像でテストするのと比較して、劣化画像で学習することで分類精度が向上するかを評価すること。
• 既存の画像修復アルゴリズム（例：除霧、除歪み）が劣化入力における分類性能を向上させられるかを評価すること。
• 将来的な耐障害画像分類研究のための合成および実際の劣化画像のベンチマークデータセットを提供すること。
• 実世界の画像分類における耐障害ディープラーニングモデルのさらなる研究を促すこと。

提案手法

• クリアな自然画像に物理モデルを適用して、霞、水中、運動歪み、魚眼歪みの画像を大規模に合成したデータセットを作成した。
• インターネットから実世界の霞がかった画像データセットを収集し、合成データを補完した。
• AlexNetおよびVGGNet-16のCNNモデルを、さまざまな劣化レベルを有する合成および実際の劣化画像セットで学習・評価した。
• クロストレーニングおよびクロステスティングの実験を実施：ある劣化レベルで学習し、別の劣化レベルでテストすることで一般化性能を評価した。
• 最先端の画像修復アルゴリズム（除霧、除歪み、歪み補正）をテスト画像に適用し、分類性能への効果を評価した。
• 初期CNN層の特徴マップを可視化し、劣化が低レベル特徴学習に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 haze、blurring、水中、魚眼歪みといった画像劣化が、CNNベースのモデルの分類精度にどのように影響を与えるか？
• RQ2 クリアな画像で学習し、同様に劣化した画像でテストするのと比較して、劣化画像で学習することで、劣化画像でのテスト性能が向上するか？
• RQ3 テスト画像を修復アルゴリズム（例：除霧、除歪み）で事前処理することで、直接推論するのと比較して分類精度が向上するか？
• RQ4 異なる種類の画像劣化において、耐障害性に顕著な差異があるか？
• RQ5 初期CNN層における劣化特徴が、性能低下とどの程度相関しているか？

主な発見

• 劣化レベルが高くなるにつれて分類精度が著しく低下し、特に学習データがクリアでテストデータが劣化している場合に顕著に現れる。
• 同じ劣化レベルで学習・テストを行うと最高の精度が得られる（例：β=2.0における霞画像で77.7％）が、クリア画像で学習し劣化画像でテストするのと比べて顕著に優れている。
• 劣化画像を修復アルゴリズム（例：除霧、除歪み）で事前処理しても精度向上は僅かにとどまる（例：e=3.0における運動歪み画像で41.8％から55.0％に上昇）で、同じレベルで学習した場合の性能に及ばない。
• 劣化によって失われた識別的特徴は修復プロセスで回復せず、結果として劣化データへの直接学習を上回る性能向上は得られない。
• 初期層の活性化を可視化した結果、劣化画像では低レベル特徴（エッジ、テクスチャ）が適切に捉えられておらず、これが性能低下と相関していることがわかった。
• すべての劣化タイプにおいて、学習とテストを同一の劣化レベルで行うことで最高の性能が得られ、ドメインシフトが主な課題であることが示された。