[論文レビュー] Baselines and a datasheet for the Cerema AWP dataset

Ismaïla Seck, Khouloud Dahmane+2 more|arXiv (Cornell University)|Jun 11, 2018

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

本論文は、悪天候下での歩行者を完全に制御され、完全にアノテーションが施された画像データセットであるCerema AWPデータセットの標準化されたデータシートと、複数のディープラーニングベースラインを紹介する。分類、回帰、自己符号化、GANベースの画像生成のための畳み込みニューラルネットワークベースラインを提示し、極端な環境条件下における視覚モデルのロバスト性と公平性を評価するうえで、このデータセットの有用性を示している。

ABSTRACT

This paper presents the recently published Cerema AWP (Adverse Weather Pedestrian) dataset for various machine learning tasks and its exports in machine learning friendly format. We explain why this dataset can be interesting (mainly because it is a greatly controlled and fully annotated image dataset) and present baseline results for various tasks. Moreover, we decided to follow the very recent suggestions of datasheets for dataset, trying to standardize all the available information of the dataset, with a transparency objective.

研究の動機と目的

• 機械学習研究における再現性と公平性を向上させるために、Cerema AWPデータセットの標準化された透明性のあるデータシートを提供すること。
• 分類、回帰、自己符号化、GANベースの画像生成を含む、複数のディープラーニングタスクにおけるCerema AWPデータセットのベースライン性能を確立すること。
• 濃い雨や濃い霧などの悪天候条件下でのモデルのロバスト性を評価するうえで、このデータセットの価値を示すこと。
• Gebruら（2018）が提唱した「データセット用データシート」フレームワークに従い、機械学習における透明性と再現性を促進すること。
• バランスの取れた訓練/テスト分割を備えた機械学習フレンドリーなHDF5フォーマットへのデータセットのエクスポートを通じて、手法の比較とベンチマークの容易化を図ること。

提案手法

• データセットは事前処理され、画像とラベルを含む1つのHDF5ファイルにエクスポートされた。画像のサイズは158×256で、各カテゴリ（天候、歩行者、進行方向）に10クラスが存在する。
• 15%のテスト分割が採用され、天候、歩行者ID、進行方向の各クラスにバランスが取れた分布が保たれた。
• ベースラインモデルは、全結合層、畳み込み層、デコンボリューション層を含む標準的な畳み込みニューラルネットワークアーキテクチャを用いて訓練された。
• GANの生成器には逆畳み込み（トランスポジットコンボリューション）とリLU活性化関数が使用され、識別器にはストライド付き畳み込みとドロップアウトを用いて正則化を行った。
• 最適化には標準的な手法（例：Adam）が用いられ、汎化性能の向上を図るためバッチ正則化とドロップアウト層が追加された。
• 実装はGitHubに公開され、将来的な研究における再現性とアクセスの容易性を確保した。

実験結果

リサーチクエスチョン

• RQ1 標準化されたデータシートは、機械学習データセットにおける透明性と公平性をどのように向上させ得るか？
• RQ2 Cerema AWPデータセットにおいて、画像分類、回帰、自己符号化、GANベースの生成タスクで達成可能なベースライン性能はどの程度か？
• RQ3 Cerema AWPデータセットの制御された環境は、濃い雨や濃い霧などの悪天候条件下でのモデルのロバスト性評価をどの程度信頼性を持って可能にするか？
• RQ4 データセットの構造とラベル付けは、マルチタスク学習と手法間の公平な比較をどのように支援するか？
• RQ5 HDF5エクスポートフォーマットは、ディープラーニングモデルのスケーラブルかつ再現可能な訓練と評価を効果的にサポートできるか？

主な発見

• Cerema AWPデータセットは、85%が訓練用、15%がテスト用の画像で構成されており、テストセットでは各クラスあたり約12例のサンプルが存在し、バランスの取れた評価が保証されている。
• 著者らは、すべてのベースラインタスクで安定した学習と意味のある結果を達成し、このデータセットがベンチマークに適していることを示した。
• GAN生成器モデルは合計5,174,723パラメータを有し、そのうち5,010,435が学習可能パラメータであり、高精細な画像生成が可能な複雑なアーキテクチャであることが示された。
• 識別器モデルは合計340,545パラメータを有し、すべてが学習可能であり、実画像と生成画像を効果的に区別するように設計された。
• 制御された環境と完全なアノテーションのおかげで、このデータセットは濃い雨や濃い霧などの悪天候条件下でのモデルのロバスト性評価に特に適している。
• 標準化されたデータシートと機械可読のHDF5フォーマットの公開により、再現性が向上し、将来のロバストなビジョンシステム分野の研究を支援する。