[論文レビュー] RISE Video Dataset: Recognizing Industrial Smoke Emissions

Yen-Chia Hsu, Ting-Hao Huang+7 more|arXiv (Cornell University)|May 13, 2020

Fire Detection and Safety Systems参考文献 44被引用数 2

ひとこと要約

RISE は、2年間にわたり4季節すべてをカバーし、3つの産業施設を19台のカメラで30日間監視した12,567本の昼間の動画クリップから構成される大規模な動画データセットであり、市民科学的手法を用いて煙排出をアノテートした。このデータセットは、産業用煙検出のための頑健なコンピュータビジョンモデルの学習を可能にし、ディープラーニングのベースラインとコミュニティからのフィードバックを通じて、環境正義分野におけるAIの主な課題と機会が明らかになった。

ABSTRACT

Industrial smoke emissions pose a significant concern to human health. Prior works have shown that using Computer Vision (CV) techniques to identify smoke as visual evidence can influence the attitude of regulators and empower citizens to pursue environmental justice. However, existing datasets are not of sufficient quality nor quantity to train the robust CV models needed to support air quality advocacy. We introduce RISE, the first large-scale video dataset for Recognizing Industrial Smoke Emissions. We adopted a citizen science approach to collaborate with local community members to annotate whether a video clip has smoke emissions. Our dataset contains 12,567 clips from 19 distinct views from cameras that monitored three industrial facilities. These daytime clips span 30 days over two years, including all four seasons. We ran experiments using deep neural networks to establish a strong performance baseline and reveal smoke recognition challenges. Our survey study discussed community feedback, and our data analysis displayed opportunities for integrating citizen scientists and crowd workers into the application of Artificial Intelligence for Social Impact.

研究の動機と目的

• 産業用煙排出を認識するための高品質で大規模な動画データセットの不足に対処すること。
• 環境モニタリングのためのスケーラブルでコミュニティ主導のデータ収集およびアノテーション手法の開発。
• 実世界のデータセットを用いて、深層ニューラルネットワークを用いて煙認識のパフォーマンスベースラインを確立すること。
• 市民科学者とクラウドワーカーを統合したAIの社会的インパacts応用における可能性を調査すること。
• 実世界の動画データを用いたAIの環境擁護分野への導入における課題と機会を特定すること。

提案手法

• 地域のコミュニティメンバーを動員し、煙排出の有無をラベル付けする市民科学フレームワークを採用した。
• 19の異なるカメラビューから、3つの産業施設を30日間監視した12,567本の動画クリップを収集した。
• データ収集は4季すべてをカバーしており、照明や天候の変動を含む時間的多様性と現実世界のばらつきを確保した。
• RISE データセット上で深層ニューラルネットワークを訓練し、煙認識のパフォーマンスベースラインを確立した。
• アノテーションプロセスおよび環境モニタリングにおけるAIアプリケーションに関するコミュニティフィードバックを収集するためのアンケートを実施した。
• モデルのパフォーマンスを評価し、現実世界の条件下での煙検出における課題を特定するためのデータ分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 大規模で現実世界の動画データセットを用いた場合、深層ニューラルネットワークは産業用煙排出をどれほど効果的に認識できるか？
• RQ2 現実世界の動画条件（例：照明、天候、季節的変化）は、煙検出モデルにどのような課題をもたらすか？
• RQ3 市民科学を効果的に活用して、AI応用のための環境動画データの収集およびアノテーションを実現する方法は何か？
• RQ4 コミュニティは、AI駆動の環境モニタリングに参加することに対してどのような認識と経験を持っているか？
• RQ5 社会的インパクトを狙ったAIイニシアチブに、クラウドワーカーや市民科学者を統合するための機会は何か？

主な発見

• RISE データセットには、2年間にわたり4季節すべてをカバーし、3つの産業施設を19台のカメラビューで30日間監視した12,567本の高品質な動画クリップが含まれている。
• 深層ニューラルネットワークは RISE データセットで優れたパフォーマンスを示し、今後の煙認識モデルの信頼できるベースラインを確立した。
• データセット内の季節的および照明の変化は、煙検出に顕著な課題をもたらし、一般化能⼒の高いモデルの必要性を浮き彫りにした。
• アンケートによるコミュニティフィードバックは、市民科学アプローチに対する高い関与度と信頼を示しており、環境モニタリングにおけるスケーラビリティを支持した。
• 市民科学者とクラウドワーカーの統合は、環境正義分野における持続可能なコミュニティ主導のAI応用の実践的ルートを明らかにした。
• データ分析から、背景の動きや天候要因を含む現実世界の動画の複雑さが、モデルの正確性に顕著な影響を与え、特定のモデル改善が求められることを示した。