[論文レビュー] White Paper on Crowdsourced Network and QoE Measurements -- Definitions, Use Cases and Challenges

Tobias Hoßfeld, Stefan Wunderer|arXiv (Cornell University)|Jan 1, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 8被引用数 14

ひとこと要約

このホワイトペーパーは、クラウドソーシングネットワークおよびエクスペリエンス品質（QoE）測定の標準化された定義を確立し、ネットワーク最適化および規制分野における主なユースケースを概説し、データの妥当性、信頼性、倫理的配慮、手法に関する主要な課題を特定する。5G以降のネットワークにおけるQoE評価の向上を目的として、標準化されたモデルと倫理的実践を用いて、ネットワーク層、アプリケーション層、ユーザーレイヤーにおけるクラウドソーシングデータの収集・処理・分析のための構造化されたフレームワークを提案する。

ABSTRACT

This white paper is the outcome of the Würzburg seminar on "Crowdsourced Network and QoE Measurements" which took place from 25-26 September 2019 in Würzburg, Germany. International experts were invited from industry and academia. They are well known in their communities, having different backgrounds in crowdsourcing, mobile networks, network measurements, network performance, Quality of Service (QoS), and Quality of Experience (QoE). The discussions in the seminar focused on how crowdsourcing will support vendors, operators, and regulators to determine the Quality of Experience in new 5G networks that enable various new applications and network architectures. As a result of the discussions, the need for a white paper manifested, with the goal of providing a scientific discussion of the terms "crowdsourced network measurements" and "crowdsourced QoE measurements", describing relevant use cases for such crowdsourced data, and its underlying challenges. During the seminar, those main topics were identified, intensively discussed in break-out groups, and brought back into the plenum several times. The outcome of the seminar is this white paper at hand which is - to our knowledge - the first one covering the topic of crowdsourced network and QoE measurements.

研究の動機と目的

• 研究および産業分野での利用を想定し、クラウドソーシングネットワークおよびQoE測定の共通で科学的に根拠のある定義を確立すること。
• クラウドソーシングデータがネットワークベンチマーク、最適化、規制監視の分野で活用される主なユースケースを特定・分類すること。
• クラウドソーシング測定研究におけるデータの妥当性、信頼性、サンプリングバイアス、倫理的配慮といった重要な課題を浮き彫りにすること。
• 代表的なデータ収集・前処理・分析を保証する手法論的フレームワークを提供すること。
• クラウドソーシングデータを従来のネットワークメトリクスと統合し、包括的なQoE評価を支援すること。

提案手法

• クラウドソーシングを、特定の目的を達成するために、イニシエーターが人間のクラウドにタスクを外部委託する行為として定義する。
• データタイプ（客観的／主観的）、インcentive（報酬）、参加者の努力の程度に基づく、多次元的分類法を導入する。
• 4段階のプロセスを提案：キャンペーン設計、データ収集、データ前処理（匿名化およびメタデータの拡充を含む）、分析。
• 生のネットワークメトリクス（例：スループット）をアプリケーション層のKQI（例：ページロード時間）に、さらにQoEスコアに変換するための標準化されたモデルの使用を強調する。
• サンプリングバイアスを検出するために、基準データとの分布比較などの統計的検証手法を推奨する。
• データ匿名化、集約処理、および機関および法的規制への準拠を通じて、倫理的遵守を強調する。

実験結果

リサーチクエスチョン

• RQ1 モバイルおよび固定ネットワークの文脈において、クラウドソーシングネットワークおよびQoE測定の有効な定義とは何か？
• RQ2 クラウドソーシングデータは、ネットワークベンチマークや規制監視などの異なるユースケースにどのように体系的に分類・適用できるか？
• RQ3 クラウドソーシング測定データの信頼性、妥当性、倫理的整合性に影響を与える主な課題は何か？
• RQ4 ネットワーク層、アプリケーション層、ユーザーレイヤーからのデータを、標準化されたモデルを用いて意味的に統合・変換する方法は何か？
• RQ5 クラウドソーシング測定キャンペーンにおいて代表的で偏りのない結果を得るために必要な手法論的実践は何か？

主な発見

• 本稿は、人間の参加者、タスクの外部委託、目的指向のデータ収集を強調する、ネットワーク測定におけるクラウドソーシングの広く適用可能な定義を確立する。
• 通信事業者ベンチマーク、ネットワーク計画、規制報告などの主なユースケースを特定し、エンドユーザー視点のデータの価値を示す。
• サンプリングバイアスとデータの信頼性は、主な課題であり、特に測定障害や外部要因（例：データ制限）が代表性に影響を与える場合に顕著である。
• 参加者の匿名性とデータプライバシーに関する倫理的懸念は顕著であり、厳密な匿名化および集約処理が不可欠である。
• QoEの解釈には、生のネットワークメトリクスからアプリケーションレベルのKQIへ、さらに検証済みモデルを用いたQoEスコアへの多層的変換が必要であると強調する。
• 著者らは、方法論的厳密性、透明性、倫理的遵守が、クラウドソーシング測定研究において信頼性があり一般化可能な結果を得るための鍵であると結論づける。