[論文レビュー] Distortion Robust Image Classification with Deep Convolutional Neural Network based on Discrete Cosine Transform

Tahmid Hossain, Shyh Wei Teng+3 more|arXiv (Cornell University)|Nov 14, 2018

Image Processing Techniques and Applications被引用数 3

ひとこと要約

本論文では、離散コサイン変換（DCT）に基づく歪み耐性のある畳み込みニューラルネットワークモジュールDCT-Netを提案する。この手法は、歪みの種類や程度について事前の知識がなくても、学習時に高周波成分を効果的に除外することで、さまざまな歪み下での画像分類性能を向上させる。CIFAR-10/100およびImageNetベンチマークにおいて、既存手法を上回り、未学習の歪みに対しても一般化性能を示す。

ABSTRACT

Convolutional Neural Network is good at image classification. However, it is found to be vulnerable to image quality degradation. Even a small amount of distortion such as noise or blur can severely hamper the performance of these CNN architectures. Most of the work in the literature strives to mitigate this problem simply by fine-tuning a pre-trained CNN on mutually exclusive or a union set of distorted training data. This iterative fine-tuning process with all known types of distortion is exhaustive and the network struggles to handle unseen distortions. In this work, we propose distortion robust DCT-Net, a Discrete Cosine Transform based module integrated into a deep network which is built on top of VGG16. Unlike other works in the literature, DCT-Net is blind to the distortion type and level in an image both during training and testing. As a part of the training process, the proposed DCT module discards input information which mostly represents the contribution of high frequencies. The DCT-Net is trained blindly only once and applied in generic situation without further retraining. We also extend the idea of traditional dropout and present a training adaptive version of the same. We evaluate our proposed method against Gaussian blur, motion blur, salt and pepper noise, Gaussian noise and speckle noise added to CIFAR-10/100 and ImageNet test sets. Experimental results demonstrate that once trained, DCT-Net not only generalizes well to a variety of unseen image distortions but also outperforms other methods in the literature.

研究の動機と目的

• ぼかしやノイズなどの画像品質低下に対して脆弱である深層CNNの課題を解決すること。
• 既存手法が既知の歪みタイプに合わせて膨大な微調整を要するという制限を克服すること。
• 多様で未知の歪みに対し、一括で汎用的かつ学習可能なモジュールを構築すること。
• 学習時および推論時において、歪みの種類や程度を事前に知らずに動作するDCTベースのモジュールを導入すること。
• 歪みアーチファクトと相関する高周波成分をフィルタリングすることで、一般化性能を向上させること。

提案手法

• VGG16アーキテクチャにDCTベースのモジュール（DCT-Net）を統合し、分類の前に入力特徴を前処理する。
• 入力特徴マップにDCTを適用して周波数成分に分解し、低周波成分を強調する。
• 学習時に高周波成分を除外することで、歪み関連アーチファクトへの感受性を低減する。
• 歪みの種類や程度を教師信号とせず、一回のブラインド学習で実施することで、未学習の歪みに対しても一般化が可能になる。
• 学習のダイナミクスに基づき動的に正則化を調整する訓練適応型ドロップアウトを導入する。
• クリーンデータおよび歪みありデータ上で、DCT-Netモジュールと分類ヘッドをエンドツーエンドで同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 歪みの種類や程度を事前に知らない状態で、DCTベースのモジュールが多様な画像歪みに対して深層CNNの耐性を向上させられるか？
• RQ2 学習時に高周波成分をフィルタリングすることで、未学習の歪みに対する一般化性能が向上するか？
• RQ3 複数の歪みタイプ下で、標準ベンチマーク上での既存の微調整済みモデルと比較して、提案手法DCT-Netはどのように性能を発揮するか？
• RQ4 一つの統一されたDCT-Netモジュールが、複数の歪みシナリオにおいて、タスク固有の微調整済みモデルを上回る性能を発揮できるか？
• RQ5 DCT-Netに組み込まれた適応的ドロップアウト機構は、学習中の一般化性能および耐性向上に寄与するか？

主な発見

• DCT-Netは、ガウスノイズ、モーションブラー、ペーパーノイズ、スパーキュラーノイズなど、CIFAR-10およびCIFAR-100のさまざまな歪み下でも優れた性能を達成する。
• 再訓練なしに未学習の歪みに対しても効果的に一般化し、学習分布外の歪みに対しても耐性を示す。
• 各歪みタイプごとに繰り返し微調整を要する既存手法を上回る。
• DCTベースのフィルタリング機構により、高周波ノイズやぼかしアーチファクトへの感受性が顕著に低減される。
• 訓練適応型ドロップアウト部は、学習中の一般化性能および安定性向上に寄与する。
• ImageNetにおいても、入力が多様な歪みで汚されていても高い精度を維持しており、大規模データセットへのスケーラビリティを確認できる。