[論文レビュー] An empirical study on the effects of different types of noise in image classification tasks

Gabriel B. Costa, Welinton A. Contato+3 more|arXiv (Cornell University)|Sep 9, 2016

Image Retrieval and Classification Techniques参考文献 19被引用数 49

ひとこと要約

本研究では、LBPおよびHOG特徴量を用いた画像分類性能が、ガウスノイズ、ポissonノイズ、スぺクルノイズといった異なるノイズタイプによってどのように低下するかを実験的に調査し、その影響を軽減するためのノイズ除去手法の効果を評価している。結果として、ノイズがF1スコアを顕著に低下させ、特に高レベルのノイズで顕著であることが示された。また、ノイズ除去により生のノイズ付きデータよりも性能が向上するが、ノイズなしモデルの精度には達しないことが判明した。これは、テクスチャーや詳細情報の損失に起因する。

ABSTRACT

Image classification is one of the main research problems in computer vision and machine learning. Since in most real-world image classification applications there is no control over how the images are captured, it is necessary to consider the possibility that these images might be affected by noise (e.g. sensor noise in a low-quality surveillance camera). In this paper we analyse the impact of three different types of noise on descriptors extracted by two widely used feature extraction methods (LBP and HOG) and how denoising the images can help to mitigate this problem. We carry out experiments on two different datasets and consider several types of noise, noise levels, and denoising methods. Our results show that noise can hinder classification performance considerably and make classes harder to separate. Although denoising methods were not able to reach the same performance of the noise-free scenario, they improved classification results for noisy data.

研究の動機と目的

• LBPおよびHOG特徴量を用いた画像分類性能が、さまざまなノイズタイプによってどのように低下するかを評価すること。
• 性能の低下が、クラスの線形分離性の低下に起因するのか、それともモデルのノイズ入力に対するロバスト性の欠如に起因するのかを特定すること。
• ノイズ除去技術が、ノイズ付き画像の分類性能を回復させることができるかを評価すること。

提案手法

• 研究では、Caltech101-600およびCorelの2つのデータセットを用い、ガウスノイズ、ポissonノイズ、スぺクルノイズを複数のレベルで画像に付加した。
• 標準的な設定（ユニフォームパターン、ヒストグラム符号化）を用いて、元画像、ノイズ付き画像、ノイズ除去済み画像からLBPおよびHOG特徴量を抽出した。
• 線形SVM分類器を、ノイズなし、ノイズあり、ノイズ除去済みのすべてのデータバージョンに対してトレーニングおよびテストした。ハイパーパrameterはグリッドサーチを用いて最適化した。
• ノイズ除去には、非局所平均法、BM3D、バイリューブィルフィルタを用い、分類性能への影響を評価した。
• F1スコアを用いて性能を評価し、ノイズタイプ、ノイズレベル、データ構成ごとの結果をヒートマップで可視化した。
• ノイズ付きデータでトレーニングしたモデルと、同じまたは異なるノイズタイプでテストしたモデルを比較することで、分離性およびロバスト性へのノイズの影響を分離して分析した。

実験結果

リサーチクエスチョン

• RQ1 LBPおよびHOG特徴量を用いた画像分類器の性能は、ノイズ付き画像に適用した場合に低下するか？
• RQ2 性能の低下は、ノイズによってクラスの線形分離性が低下するためか、それともモデルがノイズ入力に対してロバストでないためか？
• RQ3 ノイズ除去手法は、ノイズ付き画像データの分類精度を向上させることができるか？ また、ノイズなしベースラインと比較して、どの程度性能を回復できるか？

主な発見

• ノイズなしデータでトレーニングおよびテストした分類器が最も高いF1スコアを達成し、ノイズレベルが上昇するにつれて性能が顕著に低下した。
• 各ヒートマップの対角線は、ノイズ付きデータでトレーニングしたいかなるモデルもノイズなしベースラインを上回らないことを示しており、ノイズがクラスの分離性を低下させていることを示している。
• ノイズ除去手法は、生のノイズ付き画像よりもノイズ付きデータの分類結果を改善したが、ノイズなし性能には達しなかった。
• ノイズ除去済みデータでトレーニングしたモデルは、ノイズ付きデータでテストした場合に性能が著しく低下した。これは、ノイズ除去が判別に有用なテクスチャーフィーチャーを除去している可能性を示唆している。
• LBPおよびHOG特徴量はノイズに対して感受性が高く、異なるノイズレベルで一貫性のない特徴表現が生じる。
• LBPおよびHOG特徴量に関わらず、データセットに関係なく、トレーニングとテストをともにノイズなしデータで行うことで、F1スコアが常に最高となった。