[논문 리뷰] A Comprehensive Review of Automated Data Annotation Techniques in Human Activity Recognition

Florenc Demrozi, Cristian Turetta외 3명|arXiv (Cornell University)|2023. 07. 12.

Context-Aware Activity Recognition Systems인용 수 8

한 줄 요약

이 논문은 HAR에서 자동 데이터 주석 기법의 첫 체계적 검토를 제시하며, 데이터 기반, 환경 기반, 하이브리드 접근 방식으로 반자동 및 완전 자동 방법을 2401건의 선별된 논문 중 39건의 포함 연구로 분류한다.

ABSTRACT

Human Activity Recognition (HAR) has become one of the leading research topics of the last decade. As sensing technologies have matured and their economic costs have declined, a host of novel applications, e.g., in healthcare, industry, sports, and daily life activities have become popular. The design of HAR systems requires different time-consuming processing steps, such as data collection, annotation, and model training and optimization. In particular, data annotation represents the most labor-intensive and cumbersome step in HAR, since it requires extensive and detailed manual work from human annotators. Therefore, different methodologies concerning the automation of the annotation procedure in HAR have been proposed. The annotation problem occurs in different notions and scenarios, which all require individual solutions. In this paper, we provide the first systematic review on data annotation techniques for HAR. By grouping existing approaches into classes and providing a taxonomy, our goal is to support the decision on which techniques can be beneficially used in a given scenario.

연구 동기 및 목표

• HAR 주석 문제와 그 도전 과제를 정의하되, 수작업 주석의 노동 집약적 특성을 강조합니다.
• HAR 데이터 레이블링 자동화 기술과 그 트레이드오프에 대한 체계적 검토를 제공합니다.
• 주석 방법을 분류하고 시나리오 간 강점/제한점을 식별하는 분류 체계를 제안합니다.
• 검토된 연구에서 사용된 데이터세트, 장치/센서, 모델, 활동을 요약하여 방법 선택에 도움을 줍니다.

제안 방법

• 사전에 정의된 질의를 사용한 네 데이터베이스(IEEE Xplore, ACM DL, Scopus, Web of Science)의 체계적 검색.
• PRISMA 기반의 2401편의 발표물 선별을 통해 반자동 또는 완전 자동 HAR 데이터 주석에 대한 연구를 식별.
• 확인된 연구를 데이터 기반, 환경 기반, 하이브리드 주석 범주로 분류하고, 추가로 반자동 및 완전 자동으로 세분화.
• 연구 속성(데이터세트, 장치/센서, 모델, 피험자, 활동) 및 주석 기법(장단점)을 표로 합성.
• 섹션 4의 최종 분석에서 수동, 센서 융합, 크라우드소싱 중심의 연구를 제외.

Figure 1. Overview on HAR in daily life activities.

실험 결과

연구 질문

• RQ1 HAR에 대해 제안된 자동 주석 기법은 무엇이며, 데이터 기반, 환경 기반, 하이브리드 패러다임에서 어떻게 차이가 있는가?
• RQ2 데이터세트, 장치, 활동에 걸쳐 반자동 vs. 완전 자동 HAR 주석 방법의 상대적 이점과 한계는 무엇인가?
• RQ3 특정 HAR 작업과 자원 제약이 주어졌을 때 적절한 주석 기법 선택에 어떤 지침을 제공할 수 있는가?
• RQ4 HAR 주석 연구의 시간적 양상은 어떠하며, 주석 방법론에 대한 surveys에서 성장 추세나 격차가 있는가?

주요 결과

• 2401편의 검토 논문 중 39건이 자동 HAR 데이터 주석에 대한 포함 기준을 충족했다.
• HAR 데이터 주석에 대한 구별된 분류 체계가 있다: 데이터 기반, 환경 기반, 하이브리드 기법으로 각 기법은 반자동 및 완전 자동 버전이 있다.
• 센서 융합과 크라우드소싱은 별도로 다루어져 본 리뷰의 최종 주석 중심 분석에서 제외된다.
• 2006년 이후 HAR 자동화에 대한 연구 관심이 증가하고 있으며, 시간에 따라 포함/제외 항목의 수가 증가하고 있다.
• 이 연구는 데이터세트, 장치, 센서, 모델, 활동을 요약한 상세 표(표 9–18)와 주석 기법 및 장단점을 제공한다.
• 이 연구는 HAR에서 자동화 데이터 주석 기법에 대해 다룬 최초의 체계적 검토라고 주장한다, 포함된 39건의 연구를 통해.

Figure 2. Overview on HAR annotation taxonomy.