[論文レビュー] A Comprehensive Review of Automated Data Annotation Techniques in Human Activity Recognition

Florenc Demrozi, Cristian Turetta+3 more|arXiv (Cornell University)|Jul 12, 2023

Context-Aware Activity Recognition Systems被引用数 8

ひとこと要約

この論文はHARにおける自動データ注釈技術の最初の系統的レビューを提示し、39件の含有研究を2401件のスクリーニング公開の中から、半自動および完全自動の方法をデータ駆動型、環境駆動型、ハイブリッドアプローチに分類します。

ABSTRACT

Human Activity Recognition (HAR) has become one of the leading research topics of the last decade. As sensing technologies have matured and their economic costs have declined, a host of novel applications, e.g., in healthcare, industry, sports, and daily life activities have become popular. The design of HAR systems requires different time-consuming processing steps, such as data collection, annotation, and model training and optimization. In particular, data annotation represents the most labor-intensive and cumbersome step in HAR, since it requires extensive and detailed manual work from human annotators. Therefore, different methodologies concerning the automation of the annotation procedure in HAR have been proposed. The annotation problem occurs in different notions and scenarios, which all require individual solutions. In this paper, we provide the first systematic review on data annotation techniques for HAR. By grouping existing approaches into classes and providing a taxonomy, our goal is to support the decision on which techniques can be beneficially used in a given scenario.

研究の動機と目的

• HAR注釈問題とその課題を定義し、手動注釈の労働集約的性質を強調する。
• HARデータラベリングの自動化技術とそのトレードオフについて系統的レビューを提供する。
• 注釈方法を分類し、シナリオ全体の長所/制限を特定するための分類法を提案する。
• レビュー対象の研究で用いられたデータセット、デバイス、センサー、モデル、活動を整理し、方法選択を支援する。

提案手法

• 事前定義されたクエリを用いた4つのデータベース（IEEE Xplore、ACM DL、Scopus、Web of Science）の系統的探索。
• PRISMAに基づく2401件の公開物のスクリーニングを実施し、半自動または完全自動HARデータ注釈に関する研究を特定。
• 特定された研究をデータ駆動型、環境駆動型、ハイブリッド注釈カテゴリに分類し、さらに半自動と完全自動に分割。
• 研究属性（データセット、デバイス/センサー、モデル、被験者、活動）と注釈技術（長所/短所）を表形式で統合的に整理。
• 第4章の最終分析から manual、sensor fusion、crowdsourcingに焦点を当てた研究を除外。

Figure 1. Overview on HAR in daily life activities.

実験結果

リサーチクエスチョン

• RQ1 HARに対して提案された自動注釈技術は何か、データ駆動、環境駆動、ハイブリッドのどのパラダイムでどのように異なるか？
• RQ2 半自動 vs 完全自動のHAR注釈手法のデータセット、デバイス、活動間での利点と制限はどのように異なるか？
• RQ3 特定のHARタスクとリソース制約を考慮した適切な注釈技術の選択に関する指針は何か？
• RQ4 HAR注釈研究の全体像は時間とともにどのように推移しており、注釈方法論の調査に成長傾向やギャップはあるか？

主な発見

• 2401件のレビュー論文のうち、自動HARデータ注釈の適格基準を満たした研究は39件。
• HARデータ注釈にはデータ駆動型、環境駆動型、ハイブリッド技術の明確な分類があり、それぞれ半自動と完全自動のバリアントを持つ。
• センサ融合とクラウドソーシングは個別に扱われ、本レビューの最終的な注釈中心分析から除外される。
• 2006年以降、HAR自動化研究への関心が高まり、含まれる項目/除外項目の数が時間とともに増加している。
• 本レビューは、データセット、デバイス、センサー、モデル、活動の使用状況や注釈技術とその長所/短所をまとめた詳細な表（Tables 9–18）を提供する。
• 本研究は、39件の含有研究を通じてHARにおける自動データ注釈技術に関する初の系統的レビューであると主張している。

Figure 2. Overview on HAR annotation taxonomy.