[論文レビュー] ColorNet: Investigating the importance of color spaces for image classification

Shreyank N Gowda, Chun Yuan|arXiv (Cornell University)|Feb 1, 2019

Brain Tumor Detection and ClassificationNeuroscience被引用数 22

ひとこと要約

ColorNetは、1枚のRGB画像をRGB、HSV、LAB、YUV、YCbCr、YIQ、HEDの7つの異なる色彩空間に同時に処理する画期的な画像分類フレームワークを提案する。各色彩空間に対して独立した小型で幅広いDenseNetを用い、これらの色彩空間固有のブランチからの予測を統合することで、CIFAR-10、CIFAR-100、SVHN、ImageNetの各データセットで最先端の精度を達成した。パrameter数はわずか175万で、DenseNet-BC-190-40（2560万パラメータ）のようなより大きなモデルを上回った。

ABSTRACT

Image classification is a fundamental application in computer vision. Recently, deeper networks and highly connected networks have shown state of the art performance for image classification tasks. Most datasets these days consist of a finite number of color images. These color images are taken as input in the form of RGB images and classification is done without modifying them. We explore the importance of color spaces and show that color spaces (essentially transformations of original RGB images) can significantly affect classification accuracy. Further, we show that certain classes of images are better represented in particular color spaces and for a dataset with a highly varying number of classes such as CIFAR and Imagenet, using a model that considers multiple color spaces within the same model gives excellent levels of accuracy. Also, we show that such a model, where the input is preprocessed into multiple color spaces simultaneously, needs far fewer parameters to obtain high accuracy for classification. For example, our model with 1.75M parameters significantly outperforms DenseNet 100-12 that has 12M parameters and gives results comparable to Densenet-BC-190-40 that has 25.6M parameters for classification of four competitive image classification datasets namely: CIFAR-10, CIFAR-100, SVHN and Imagenet. Our model essentially takes an RGB image as input, simultaneously converts the image into 7 different color spaces and uses these as inputs to individual densenets. We use small and wide densenets to reduce computation overhead and number of hyperparameters required. We obtain significant improvement on current state of the art results on these datasets as well.

研究の動機と目的

• 異なる色彩空間が画像分類性能に顕著な影響を与えるかどうかを調査すること。
• 特定の画像クラスやデータセットに対して、ある色彩空間がより適しているかどうかを特定すること。
• マルチ色彩空間入力を活用することで、モデルの複雑さを軽減しながら、精度を維持または向上させること。
• 特徴学習の前段階で早期に色彩空間変換を施すことで、表現学習が改善されるかどうかを検討すること。
• 1つのアーキテクチャ内で複数の色彩空間表現を統合することで、軽量かつ高精度なモデルを構築すること。

提案手法

• モデルは入力として1枚のRGB画像を受け取り、同時に7つの異なる色彩空間（RGB、HSV、LAB、YUV、YCbCr、YIQ、HED）に変換する。
• 各色彩空間表現は、別々の小型で幅広いDenseNet（DenseNet-40-12）に供給され、独立して特徴を抽出する。
• 全7つのDenseNetの出力を連結し、最終的な分類のための重み付き統合と出力に渡すために、最終的な全結合層を通過させる。
• 小型で幅広いDenseNetの使用により、パラメータ数とハイパーパrameter数が削減され、消失勾配や過学習の問題が軽減される。
• 色彩空間変換は、標準的な数学的公式（sRGBの線形化および行列乗算によるCIE XYZおよびLABへの変換）を用いて実行される。
• 最終的な予測は、個々のブランチ出力の平均化または学習重み付き統合によって得られる。

実験結果

リサーチクエスチョン

• RQ1 色彩空間の選択が、多様なデータセットにおける画像分類精度にどのように影響を与えるか？
• RQ2 RGB単独を使用するのと比較して、複数の色彩空間表現を統合することで分類性能が向上するか？
• RQ3 特定の画像クラスやデータセットの特性に対して、より効果的な色彩空間は存在するか？
• RQ4 マルチ色彩空間入力によって、精度を維持または向上させながら、どの程度モデルサイズを縮小できるか？
• RQ5 特徴学習の前段階で早期に色彩空間変換を施すことで、生のRGB画像を処理するのと比較して、より良い表現学習が達成できるか？

主な発見

• ColorNet-121は、ImageNetでトップ1誤差率17.65％、トップ5誤差率5.22％を達成し、発表当時、新たな最先端の記録を樹立した。
• パラメータ数がわずか175万のColorNet-40-12は、SVHNで1530万パラメータのDenseNet-BC-250-24を上回り、1.59％の誤差率を達成した。
• ColorNet-40-48は、SVHNで1.12％の誤差率を達成し、同データセットにおける新たな最先端の記録を樹立した。
• モデルはより大きなモデルを著しく上回った。例えば、ColorNet-40-12は、CIFAR-100で2560万パラメータのDenseNet-BC-190-40を、より少ないパラメータ数で上回った。
• 混同行列の分析から、特定のクラスは特定の色彩空間でよりよく分類されていたことが判明し、マルチ色彩空間統合戦略の妥当性が裏付けられた。
• LCH、YPbPr、XYZなどの色彩空間は性能を低下させたため、最終モデルから除外された。