[논문 리뷰] Challenges in Annotation of useR Data for UbiquitOUs Systems: Results from the 1st ARDUOUS Workshop

Kristina Yordanova, Adeline Paiement외 6명|arXiv (Cornell University)|2018. 03. 15.

Context-Aware Activity Recognition Systems참고 문헌 21인용 수 14

한 줄 요약

이 논문은 유효한 컴퓨팅 시스템을 위한 사용자 데이터에 대한 주석 처리 과제에 대해 1회차 ARDUOUS 워크숍의 결과를 제시하며, 주석 품질, 일관성 및 도구 사용 측면에서 핵심 문제를 규명한다. 표준화된 방법, 다중 주석자 전략, 자동화된 도구를 통해 주석 관행을 향상시키는 로드맵을 제안하여, 보편적 응용 분야에서의 데이터 재사용성과 시스템 성능을 향상시킨다.

ABSTRACT

Labelling user data is a central part of the design and evaluation of pervasive systems that aim to support the user through situation-aware reasoning. It is essential both in designing and training the system to recognise and reason about the situation, either through the definition of a suitable situation model in knowledge-driven applications, or through the preparation of training data for learning tasks in data-driven models. Hence, the quality of annotations can have a significant impact on the performance of the derived systems. Labelling is also vital for validating and quantifying the performance of applications. In particular, comparative evaluations require the production of benchmark datasets based on high-quality and consistent annotations. With pervasive systems relying increasingly on large datasets for designing and testing models of users' activities, the process of data labelling is becoming a major concern for the community. In this work we present a qualitative and quantitative analysis of the challenges associated with annotation of user data and possible strategies towards addressing these challenges. The analysis was based on the data gathered during the 1st International Workshop on Annotation of useR Data for UbiquitOUs Systems (ARDUOUS) and consisted of brainstorming as well as annotation and questionnaire data gathered during the talks, poster session, live annotation session, and discussion session.

연구 동기 및 목표

• 보편적 및 유효한 컴퓨팅 시스템에서 데이터 주석 처리의 중요하지만 자주 간과되는 역할을 다루기.
• 주관성, 일관성 부족, 기준값 부재, 낮은 재현 가능성 등 수동 주석 처리의 핵심 과제를 규명하기.
• 최선의 실천 방식과 표준화된 방법론을 수립하여 주석 데이터셋의 품질과 재사용 가능성을 향상시키기.
• 빅데이터 환경에서의 확장 가능하고 장기적인 주석 처리를 지원하기 위한 도구 및 자동화 기법 탐색하기.
• 신뢰할 수 있고 상황 인식 기능을 갖춘 보편적 응용 프로그램 개발의 기초 단계로 주석 처리에 대한 공동체 차원의 성찰 촉진하기.

제안 방법

• 두 가지 주석 도구를 사용하여 일곱 명의 참가자가 실시간 주석 처리 세션을 수행하여 사용성과 성능를 비교하였다.
• 주석 워크플로우에서 반복적으로 나타나는 과제와 잠재적 해결책을 규명하기 위해 체계적인 토론 세션을 조직하였다.
• 실생활 주석 경험에 대한 8篇의 동료 심사 논문과 키note를 수집하여 활동 인식 및 실내 위치 추적 분야의 사례를 분석하였다.
• 행동 경계 탐지와 활동 유형 레이블링을 분리하는 이중 그룹 주석 전략을 제안하였다.
• 컴퓨터 과학 전공자가 아닌 학생들(예: 심리학 또는 사회과학 배경)을 활용한 대안적 접근 방식을 탐색하여 주석 참여도를 높이고 편향을 줄이기 위한 방법을 모색하였다.
• 센서 선택의 상충 관계를 평가하여, 자연스러운 데이터 수집을 위해 외부 가속도계보다 일상적인 기기인 스마트폰과 스마트워치를 권장하였다.

실험 결과

연구 질문

• RQ1 보편적 시스템에서 사용자 데이터에 대해 고품질이고 일관성 있는 주석을 생성하는 데 있어 주요 과제는 무엇인가요?
• RQ2 장기적이고 현장 적용 가능한 배포를 위해 주석 프로세스는 어떻게 더 신뢰성 있고 재현 가능하며 확장 가능하게 만들 수 있나요?
• RQ3 연구 질문이 데이터 수집 및 주석 설계에 어떤 역할을 합니까?
• RQ4 주석자, 특히 학생들에게 주석 처리를 더 매력적이고 지속 가능하게 만들 수 있는 방법은 무엇인가요?
• RQ5 자동화되거나 도구 지원이 되는 방법은 수동 작업을 얼마나 줄일 수 있으며, 주석 품질을 유지하면서도 가능한가요?

주요 결과

• 주석 품질은 주석자 주관성, 명확한 기준값 부재, 일관성 없는 레이블링 관행으로 인해 심각하게 영향을 받으며, 이로 인해 공개 데이터셋이 사용 불가능해지는 경우가 많다.
• 수동 주석 처리는 복잡하거나 동시적으로 발생하거나 모호한 인간 행동을 레이블링할 경우 시간이 오래 걸리고 오류 발생 위험이 높다.
• 행동 경계 탐지와 활동 유형 레이블링을 분리하는 이중 그룹 주석 전략은 정확도를 향상시키고 인지 부담을 줄일 수 있다.
• 컴퓨터 과학 전공자가 아닌 학생들, 특히 심리학이나 사회과학 배경을 가진 학생들은 컴퓨터 과학 전공자보다 더 신뢰할 수 있고 참여도가 높으며, 구현 기반 편향을 유발할 가능성이 낮다.
• 스마트폰과 스마트워치와 같은 일상적인 웨어러블 기기들은 사용자 부담 감소와 높은 준수율로 인해 외부 센서보다 자연스러운 데이터 수집에 더 적합한 선택일 수 있다.
• 데이터 수집 단계에서 명확한 연구 질문이 없으면, 탐색적 연구이더라도 데이터 품질이 떨어지고 만족스럽지 못한 결과를 초래할 수 있다.