[論文レビュー] Hyperspectral City V1.0 Dataset and Benchmark

Shaodi You, Huang, Erqi+15 more|arXiv (Cornell University)|Jul 24, 2019

Remote-Sensing Image Classification参考文献 2被引用数 8

ひとこと要約

本論文は、上海で収集された367枚の学習用および55枚のテスト用ハイパースペクトル画像（450–950 nm、125バンド）からなるベンチマークデータセットであるHyperspectral City V1.0を紹介する。このデータセットは、豊富なスペクトル情報を用いたセマンティックセグメンテーションを可能にし、粗い学習ラベルと詳細なテストラベルを提供する。また、効率的な転送を可能にするH.264圧縮データを併記しており、複雑な都市環境における物理ベースのビジョンとディープラーニングの統合を進める。

ABSTRACT

This document introduces the background and the usage of the Hyperspectral City Dataset and the benchmark. The documentation first starts with the background and motivation of the dataset. Follow it, we briefly describe the method of collecting the dataset and the processing method from raw dataset to the final release dataset, specifically, the version 1.0. We also provide the detailed usage of the dataset and the evaluation metric for submitted the result for the 2019 Hyperspectral City Challenge.

研究の動機と目的

• Cityscapesのような既存のRGBベースの都市ドライブデータセットにおける視覚的品質とスペクトル情報の不足を是正すること。
• 物理ベースのビジョンとディープラーニングを統合し、夜間、霧、雨などの困難な条件下でのセマンティックセグメンテーションのロバスト性を向上させること。
• RGBを超えるスペクトル多様性を活用したセマンティックセグメンテーションのためのベンチマークとしてのハイパースペクトルデータを提供すること。
• 高分解能でマルチスペクトルな都市画像を活用し、物質分析、反射率モデリング、可視性強化に関する研究を支援すること。
• 自動運転におけるシーン理解を向上させるために、スペクトル特徴を活用するモデルの開発を促進すること。

提案手法

• データは上海の車両に搭載されたLightGeneハイパースペクトルカメラ（450–950 nm、125バンド、1400×1800解像度）を用いて3日間にわたり収集された。
• 都市環境（中央ビジネス地区、高速道路、住宅地など）および照明条件（昼間、夜間、晴天、曇天など）を多様にカバーした。
• LabelMeを用いて10名のラベラーが粗いセマンティックラベルを生成し、Cityscapesデータセットに準拠したラベル整合性を確保した。
• 55枚のテスト画像について、詳細なラベルが作成され、コンテスト中は非公開に保たれた。
• ハイパースペクトルデータはH.264（品質90%）で圧縮され、元のサイズの2%未満にまで縮小され、オンライン転送が効率的になった。
• 125チャンネルのハイパースペクトルデータをマルチバンド画像として読み込むためのMATLABユーティリティ関数'readHSD.m'を提供した。

実験結果

リサーチクエスチョン

• RQ1 RGBデータのみと比較して、ハイパースペクトルデータは複雑な都市ドライブシーンにおけるセマンティックセグメンテーションの精度を向上させることができるか？
• RQ2 ディープラーニングモデルは、低照度、濃霧、雨天などの条件下で、スペクトル情報をどれほど効果的に活用できるか？
• RQ3 豊富なスペクトル特徴が利用可能な状況でも、ハイパースペクトルデータに対する粗いラベリングは、依然として効果的な学習を可能にするか？
• RQ4 大規模で現実世界のハイパースペクトル都市データセットを用いて、物理ベースのビジョン原理をディープラーニングと効果的に統合できるか？
• RQ5 スペクトル分解能とダイナミックレンジは、自動運転応用における物質およびシーン理解にどのような影響を及ぼすか？

主な発見

• Hyperspectral City V1.0データセットは、450から950 nmの125バンドのハイパースペクトル画像を367枚（学習用）および55枚（テスト用）含む。
• データセットは、2019年Hyperspectral Cityチャレンジで用いられるmean Intersection over Union（mIoU）評価指標を用いたセマンティックセグメンテーションを可能にする。
• ハイパースペクトルデータはH.264（品質90%）で圧縮され、最終的なデータセットサイズは約40 GB、圧縮率は2%未満にまで低下した。
• 学習セットには10名のラベラーによる粗いセマンティックラベルが含まれ、テストセットには評価用の詳細なラベルが含まれる。
• データセットは、物質分類、反射率解析、悪天候下の可視性強化といった高度な応用を支援する。
• 125チャンネルのハイパースペクトルデータへのアクセスを容易にするため、MATLABリーダー関数'readHSD.m'をリリースした。