[論文レビュー] On Classification of Distorted Images with Deep Convolutional Neural Networks

Yiren Zhou, Sibo Song+1 more|arXiv (Cornell University)|Jan 8, 2017

Image Processing Techniques and Applications参考文献 13被引用数 6

ひとこと要約

本稿では、画像の歪み（ぼやけ、ノイズ）が深層畳み込みニューラルネットワーク（DCNN）分類器に与える影響を調査し、ロバストネスを向上させる実用的な手法としてファインチューニングを提案する。事前学習済みDCNNの最初の数層を歪んだ画像でファインチューニングすることで、クリーンな入力と歪んだ入力の両方で高い精度を維持でき、特にデータが限られた状況では再訓練に比べて効率的で一般化性能に優れる。

ABSTRACT

Image blur and image noise are common distortions during image acquisition. In this paper, we systematically study the effect of image distortions on the deep neural network (DNN) image classifiers. First, we examine the DNN classifier performance under four types of distortions. Second, we propose two approaches to alleviate the effect of image distortion: re-training and fine-tuning with noisy images. Our results suggest that, under certain conditions, fine-tuning with noisy images can alleviate much effect due to distorted inputs, and is more practical than re-training.

研究の動機と目的

• 画像の歪み（運動ぼやけ、ボケぼやけ、ガウスノイズ、およびそれらの組み合わせ）が深層ニューラルネットワーク分類器に与える影響を体系的かつ評価すること。
• 歪んだ画像で再訓練するか、ファインチューニングするかによって、歪み下での分類精度が向上するかを調査すること。
• 限られたデータ条件下でのロバストな画像分類のための、ファインチューニングと完全再訓練の実用性および有効性を比較すること。
• 歪みによるエッジおよびテクスチャ情報の損失を指標とする特徴マップ勾配分散を分析すること。

提案手法

• 研究では、事前学習済みDCNN（LeNet-5、CIFAR10-quick、AlexNet）を用い、MNIST、CIFAR-10、ImageNetのデータセットに対して、制御された歪み下での性能を評価する。
• 歪んだ画像は、クリーンな画像に運動ぼやけ、ボケぼやけ、ガウスノイズをさまざまな強度で適用することで生成する。
• ファインチューニングは、ネットワークの残りの部分を固定したまま、歪んだ学習データを用いて最初の数層の重みのみを更新することで実施する。
• 再訓練は、歪んだデータでネットワーク全体を再学習するもので、比較のためのベースラインとなる。
• エッジおよびテクスチャ情報の損失を定量化するために、Sobelフィルタを用いて各特徴マップごとの勾配の大きさの分散を計算する。
• 特徴マップ全体の勾配大きさの平均分散を用い、歪み下での表現品質を評価する指標とする。

実験結果

リサーチクエスチョン

• RQ1 運動ぼやけ、ボケぼやけ、ガウスノイズ、およびそれらの組み合わせといった、さまざまな種類の画像歪みが、深層畳み込みニューラルネットワークの分類精度にどのように影響を与えるか。
• RQ2 事前学習済みDCNNの最初の数層を歪んだ画像でファインチューニングすることで、元のモデルと比較して歪んだ入力での分類性能が向上するか。
• RQ3 訓練データが限られた状況において、ファインチューニングと完全再訓練は、精度、収束速度、ロバストネスの観点でどのように比較されるか。
• RQ4 分類タスクにおいて、歪んだ画像を処理する際、モデルがエッジおよびテクスチャ情報をどの程度保持しているか（勾配分散を用いて測定）。

主な発見

• 事前学習済みAlexNetの最初の3層を歪んだImageNetデータでファインチューニングすることで、歪んだ画像におけるトップ-1誤差率を53.1％から47.7％に低下させた一方で、クリーン画像では元の42.9％の誤差率を維持した。
• 元の事前学習済みモデルを用いた場合、歪んだ画像では特徴マップの勾配大きさの平均分散が顕著に低下し、エッジおよびテクスチャ情報の損失が示された。
• 歪んだ画像でファインチューニングを行った後、平均勾配分散はクリーン画像時の水準に近づき、特徴表現の改善が示された。
• 歪んだデータで再訓練したモデルは、元のモデルよりも高い勾配分散を示したため、歪んだ分布に適応したが、必ずしもクリーンデータの表現に適応したとは限らないことが示唆された。
• 歪んだデータセットが小さい場合、ファインチューニングは再訓練よりも計算効率が高く、過学習のリスクも低く、実世界の応用においてより実用的であった。
• 低～中程度の歪みレベルでは、ファインチューニングは再訓練と同等またはそれ以上の性能を達成したが、計算時間は著しく短縮された。