[論文レビュー] A Computer Vision System to Help Prevent the Transmission of COVID-19

Fevziye İrem Eyiokur, Hazım Kemal Ekenel+1 more|arXiv (Cornell University)|Mar 15, 2021

Face recognition and analysis参考文献 44被引用数 11

ひとこと要約

本論文では、COVID-19の感染拡大を防ぐために、マスク着用、顔と手の接触、および社会的距離の測定を可能にするディープラーニングベースのコンピュータビジョンシステムを提示する。ISL-UFMDおよびISL-UFHDという2つの新しい実世界データセットを用いて訓練された本システムは、適応処理を施さずに未学習のデータに対しても高い精度と優れた一般化性能を達成する。

ABSTRACT

The COVID-19 pandemic affects every area of daily life globally. To avoid the spread of coronavirus and retrieve the daily normal worldwide, health organizations advise social distancing, wearing face mask, and avoiding touching face. Based on these recommended protective measures, we developed a deep learning-based computer vision system to help prevent the transmission of COVID-19. Specifically, the developed system performs face mask detection, face-hand interaction detection, and measures social distance. For these purposes, we collected and annotated images that represent face mask usage and face-hand interaction in the real world. We introduce two different face datasets, namely, Interactive Systems Labs Unconstrained Face Mask Dataset (ISL-UFMD) and Interactive Systems Labs Unconstrained Face Hand Interaction Dataset (ISL-UFHD). We trained the proposed models on our own datasets and evaluated them on both our datasets and already existing datasets in the literature without performing any adaptation on these target datasets. Besides, we proposed a distance measurement module to track social distance between people. Experimental results indicate that ISL-UFMD and ISL-UFHD represent the real-world's diversity well. The proposed system achieved very high performance and generalization capacity in a real-world scenario for unseen data from outside the training data to detect face mask usage, face-hand interaction detection, and measuring social distance. The ISL-UFMD and ISL-UFHD datasets will be available at this https URL.

研究の動機と目的

• 新型コロナウイルス感染症の流行期における公衆衛生措置を自動で実施するシステムの緊急の必要性に対応すること。
• 実世界の環境において、マスク着用、顔と手の接触、および社会的距離を検出できるビジョンシステムを開発すること。
• 訓練および評価用に使用する、マスク着用および顔と手の接触を代表する多様な実世界の画像を収集・アノテーションすること。
• 非制約的で実世界の状況を反映する顔関連行動を表す2つの新しいベンチマークデータセット、ISL-UFMDおよびISL-UFHDを構築すること。
• ドメイン適応を施さずに、独自のデータセットおよび既存のデータセット上でシステムの性能と一般化能力を評価すること。

提案手法

• 実世界の画像を収集・アノテーションし、マスク検出用のISL-UFMDおよび顔と手の接触検出用のISL-UFHDという2つの新しいデータセットを構築した。
• オブジェクト検出およびアクティビティ認識のエンドツーエンド学習を用いて、ISL-UFMDおよびISL-UFHDデータセット上でディープラーニングモデルを訓練した。
• コンピュータビジョン技術を活用して、リアルタイムで人物間の距離を推定する距離測定モジュールを実装した。
• ドメイン適応を一切行わないようにシステムを設計し、異なる環境からの未学習データに対しても耐性を確保した。
• 独自のデータセットおよび既存の公開データセットの両方でシステムを評価し、一般化性能および実世界でのパフォーマンスを測定した。
• 標準的なオブジェクト検出およびポーズ推定アーキテクチャを用いたが、要約では具体的なモデル名は明記されていない。

実験結果

リサーチクエスチョン

• RQ1 非制約的で実世界の環境において、コンピュータビジョンシステムはマスク着用を効果的に検出できるか？
• RQ2 顔と手の接触を検出するシステムは、ウイルス感染と関連する重要な行動として、どの程度の精度で検出できるか？
• RQ3 ドメイン適応を施さずに、ビジョンシステムは人物間の社会的距離をどの程度正確に測定できるか？
• RQ4 提案されたモデルは、異なる実世界の設定からの未学習データに対してどの程度一般化できるか？
• RQ5 新たに導入されたデータセットであるISL-UFMDおよびISL-UFHDは、実世界の顔関連行動の多様性を適切に反映しているか？

主な発見

• ISL-UFMDおよびISL-UFHDデータセットは、実世界におけるマスク着用および顔と手の接触の多様性を効果的に捉えている。
• 提案されたシステムは、著者らのデータセットおよび既存のベンチマークデータセットの両方で、マスク着用検出において高い性能を達成した。
• 顔と手の接触検出は未学習データに対しても優れた性能を示し、良好な一般化能力を示している。
• 社会的距離測定モジュールは、実世界のシナリオにおいて人物間の距離を正常に追跡できた。
• ドメイン適応なしに外部データセットでも高い精度を維持したため、システムの耐性および汎用性が確認された。
• ISL-UFMDおよびISL-UFHDデータセットは今後の研究を促進するため、公開されており、再現性およびベンチマークの向上に貢献している。