[論文レビュー] Weather Classification: A new multi-class dataset, data augmentation approach and comprehensive evaluations of Convolutional Neural Networks

José Guerra, Zeba Khanam+3 more|arXiv (Cornell University)|Aug 1, 2018

Image Enhancement Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、雨、雪、霧の3クラスを対象とした新しいオープンソースの多クラス天気画像データセットRFSと、畳み込みニューラルネットワーク（CNN）の天気分類性能を向上させるための新規スーパーピクセルベースのデータ拡張手法を提案する。この手法は10種類のCNNアーキテクチャにおいてモデルの汎化性能を向上させ、ResNet-50では100枚のスーパーピクセルマスクを用いた際、mAPが80.70%に達する。これは、スーパーピクセル拡張がクラス不均衡やドメインシフトに対処しながらも、精度を向上させることを示している。

ABSTRACT

Weather conditions often disrupt the proper functioning of transportation systems. Present systems either deploy an array of sensors or use an in-vehicle camera to predict weather conditions. These solutions have resulted in incremental cost and limited scope. To ensure smooth operation of all transportation services in all-weather conditions, a reliable detection system is necessary to classify weather in wild. The challenges involved in solving this problem is that weather conditions are diverse in nature and there is an absence of discriminate features among various weather conditions. The existing works to solve this problem have been scene specific and have targeted classification of two categories of weather. In this paper, we have created a new open source dataset consisting of images depicting three classes of weather i.e rain, snow and fog called RFS Dataset. A novel algorithm has also been proposed which has used super pixel delimiting masks as a form of data augmentation, leading to reasonable results with respect to ten Convolutional Neural Network architectures.

研究の動機と目的

• 屋外シーン分類に向けた多様で多クラスの天気データセットの不足に対処すること。
• データ拡張を用いて、天気分類におけるCNNの汎化性とロバスト性を向上させること。
• 細粒度な天気認識のための新しい拡張戦略として、スーパーピクセルマスクの有効性を検証すること。
• 複数の最先端CNNアーキテクチャを、変動する拡張条件下で新しいベンチマークデータセット上で評価すること。
• バイアスを低減し、天気分類モデルにおける公平性を向上させるための再現可能でオープンソースのデータセットと手法を提供すること。

提案手法

• 著者らは、オンラインソースから画像を収集し、各クラス（雨、雪、霧）に2000枚ずつを確保し、バイアス低減のため既存のベンチマーク画像を統合することでRFSデータセットを構築した。
• 入力画像の領域をマスクし、拡張することで合成トレーニングサンプルを生成する、スライディング・リージョン・クラスタリング（SLIC）アルゴリズムを用いたスーパーピクセルマスクを活用する新規データ拡張手法を開発した。
• 1枚の画像あたり25、50、75、100枚のマスクを異なる密度で適用することで、元の画像分布を変更せずにトレーニングの多様性を向上させた。
• ResNet、VGG、CaffeNet、PlacesCNNを含む10種類の事前学習済みCNNアーキテクチャを、スーパーピクセル拡張あり・なしの両条件でRFSデータセットで微調整した。
• 評価には、全クラスにおける平均平均適合率（mAP）を用い、モデルのロバスト性と汎化性能を評価するためのクラス別分析も実施した。
• パイプラインには、画像前処理、スーパーピクセル生成、マスキングによるデータ混合、交差エントロピー損失を用いたエンドツーエンド学習が含まれた。

実験結果

リサーチクエスチョン

• RQ1 スーパーピクセルベースのデータ拡張は、多クラス天気分類におけるCNNの性能向上に寄与するか？
• RQ2 スーパーピクセルマスクの数は、異なるアーキテクチャにおいてモデルの汎化性と精度にどのように影響するか？
• RQ3 提案されたRFSデータセットは、既存の天気データセットと比較してバイアス低減と公平性向上に寄与するか？
• RQ4 スーパーピクセル拡張を適用した場合、どのCNNアーキテクチャが天気分類において最も優れた性能を示すか？
• RQ5 オンラインデータとベンチマークデータを組み合わせたハイブリッドデータセットは、モデルのロバスト性向上とドメインシフト低減に寄与するか？

主な発見

• ResNet-50は100枚のスーパーピクセルマスクを用いた学習で、mAPが80.70%に達し、全設定において他のすべてのアーキテクチャを上回った。
• スーパーピクセル拡張の適用により、10モデル中8つがmAPを向上させ、特にResNet-50とResNet-101で顕著な向上が見られた。
• PlacesCNNおよびCaffeNetモデルは拡張によりほとんどまたは全く向上が見られず、新しいデータ形式を活用する能力にアーキテクチャ上の制限があることが示唆された。
• 晴れのカテゴリではVGG_CNN_Mが最も優れた性能を示し、特定の天気タイプに対しては一部のアーキテクチャがより適している可能性があることが示された。
• 全モデルおよび全設定におけるmAPは68%から81%の範囲にあり、提案手法の有効性が確認された。
• 結果は、スーパーピクセルマスキングが訓練中に制御された意味的意味のある摂動を導入することで、特徴学習を強化するという仮説を支持している。