[論文レビュー] Challenges in Annotation of useR Data for UbiquitOUs Systems: Results from the 1st ARDUOUS Workshop

Kristina Yordanova, Adeline Paiement+6 more|arXiv (Cornell University)|Mar 15, 2018

Context-Aware Activity Recognition Systems参考文献 21被引用数 14

ひとこと要約

本論文は、パーソナライズドコンピューティングシステムにおけるユーザーデータのアノテーションに関する課題を扱ったARDUOUS 2017ワークショップの成果を報告し、アノテーションの質、一貫性、ツールの面で重要な問題を特定している。本論文は、標準化された手法、複数アノテータ戦略、自動化ツールを活用したアノテーション実践の向上に向けたロードマップを提唱しており、パーソナライズドアプリケーションにおけるデータ再利用性とシステム性能の向上を目的としている。

ABSTRACT

Labelling user data is a central part of the design and evaluation of pervasive systems that aim to support the user through situation-aware reasoning. It is essential both in designing and training the system to recognise and reason about the situation, either through the definition of a suitable situation model in knowledge-driven applications, or through the preparation of training data for learning tasks in data-driven models. Hence, the quality of annotations can have a significant impact on the performance of the derived systems. Labelling is also vital for validating and quantifying the performance of applications. In particular, comparative evaluations require the production of benchmark datasets based on high-quality and consistent annotations. With pervasive systems relying increasingly on large datasets for designing and testing models of users' activities, the process of data labelling is becoming a major concern for the community. In this work we present a qualitative and quantitative analysis of the challenges associated with annotation of user data and possible strategies towards addressing these challenges. The analysis was based on the data gathered during the 1st International Workshop on Annotation of useR Data for UbiquitOUs Systems (ARDUOUS) and consisted of brainstorming as well as annotation and questionnaire data gathered during the talks, poster session, live annotation session, and discussion session.

研究の動機と目的

• パーソナライズドおよびユビキタスコンピューティングシステムにおいて、しばしば軽視されがちなデータアノテーションの重要な役割に取り組む。
• 主観性、一貫性の欠如、真のラベル（グランド・トゥースト）の欠如、再現性の低さといった、手作業によるアノテーションにおける根幹的な課題を特定する。
• ベストプラクティスと標準化された手法を確立することで、アノテート済みデータセットの質と再利用可能性を向上させる。
• 大規模データ環境下でのスケーラブルかつ長期的なアノテーションを支援するためのツールと自動化技術の活用を検討する。
• 信頼性があり状況に適応したパーソナライズドアプリケーションを開発するための基盤的ステップとして、アノテーションに関するコミュニティ全体の見直しを促進する。

提案手法

• 2つのアノテーションツールを用いて、7名の参加者によるライブアノテーションセッションを実施し、使いやすさとパフォーマンスを比較した。
• 構造的なディスカッションセッションを実施し、アノテーションワークフローにおける繰り返し発生する課題とその解決策を同定した。
• 実世界のアクティビティ認識および屋内位置特定におけるアノテーション経験に関する、8篇の査読済み論文と基調講演のインサイトを収集した。
• 2段階アノテーション戦略を提唱した：1つはアクションの境界検出、もう1つはアクティビティタイプのラベリング。
• コンピュータサイエンス専攻以外の学生（例：心理学や社会学分野）を活用する代替手法を検討し、アノテーション参加意欲の向上とバイアスの低減を図った。
• センサー選定のトレードオフを評価し、外部の加速度計よりもスマートフォンやスマートウォッチといった日常的デバイスを自然主義的データ収集に好ましい選択肢とすることを提唱した。

実験結果

リサーチクエスチョン

• RQ1 ユビキタスシステムにおけるユーザーデータの高品質かつ一貫性のあるアノテーションを生み出すために、主な課題は何であるか？
• RQ2 長期的かつ現実世界での展開に適した、より信頼性が高く再現可能でスケーラブルなアノテーションプロセスはどのように実現できるか？
• RQ3 研究課題がデータ収集とアノテーション設計にどのように影響を与えるか？
• RQ4 特に学生を対象としたアノテーション作業を、どのようにしてより魅力的で持続可能なものにできるか？
• RQ5 自動化またはツール支援手法は、アノテーション品質を維持しつつ、人的作業をどの程度削減できるか？

主な発見

• アノテーターの主観性、明確なグランド・トゥーストの欠如、一貫性のないラベリング習慣が、アノテーションの質に深刻な影響を与え、多くの公開データセットが使用不能に終わることがある。
• 手作業によるアノテーションは時間のかかる作業であり、複雑で同時に発生する、あるいは曖昧な人間の行動をラベル付けする際には特にエラーを起こしやすい。
• アクションの境界検出とアクティビティタイプのラベリングを分離する2段階アノテーション戦略を採用することで、正確性が向上し、認知的負荷が軽減される。
• 特に心理学や社会学の背景を持つ非コンピュータサイエンス専攻の学生は、実装に基づくバイアスを引き起こしがちなコンピュータサイエンス専攻の学生よりも、信頼性が高く、参加意欲も高いアノテーターである。
• スマートフォンやスマートウォッチといった日常的ウェアラブルデバイスは、ユーザー負担の低減と高い遵守率を考慮すると、外部加速度計よりも自然主義的データ収集に好ましい選択肢である。
• データ収集段階で明確な研究課題が欠如していると、すばやい調査であっても、データ品質が著しく低下し、満足のいく結果が得られないことがある。