[論文レビュー] Communicating Data Quality in On-Demand Curation

Poonam Kumari, Said Achmiz+1 more|arXiv (Cornell University)|Jun 7, 2016

Advanced Database Systems and Queries参考文献 15被引用数 5

ひとこと要約

本稿は、オンデマンドキュレーションシステムにおける属性レベルのデータ不確実性を伝えるための4つのユーザインターフェース表現を評価し、フォーマット間で認知的負荷に差は見られないものの、ビジュアルデザインがユーザーの解釈、感情的反応、意思決定に顕著な影響を及ぼすことを明らかにした。本研究は、低品質なデータ環境下での信頼性と使いやすさを向上させるため、確率的データベースにおける基礎的UIデザインガイドラインを確立する。

ABSTRACT

On-demand curation (ODC) tools like Paygo, KATARA, and Mimir allow users to defer expensive curation effort until it is necessary. In contrast to classical databases that do not respond to queries over potentially erroneous data, ODC systems instead answer with guesses or approximations. The quality and scope of these guesses may vary and it is critical that an ODC system be able to communicate this information to an end-user. The central contribution of this paper is a preliminary user study evaluating the cognitive burden and expressiveness of four representations of "attribute-level" uncertainty. The study shows (1) insignificant differences in time taken for users to interpret the four types of uncertainty tested, and (2) that different presentations of uncertainty change the way people interpret and react to data. Ultimately, we show that a set of UI design guidelines and best practices for conveying uncertainty will be necessary for ODC tools to be effective. This paper represents the first step towards establishing such guidelines.

研究の動機と目的

• 異なる属性レベルの不確実性のビジュアル表現が、オンデマンドキュレーションシステムにおけるユーザーの理解力および意思決定に与える影響を調査すること。
• 確率的データベース出力におけるさまざまな不確実性表現の解釈に伴う認知的負担を評価すること。
• ユーザーを混乱させることなく、データ品質を効果的に伝えるデザインパターンを特定すること。
• ユーザーの信頼性と結果の信頼性を向上させるために、確率的データベースおよびオンデマンドキュレーションツールの初期UIデザインガイドラインを確立すること。

提案手法

• バッファロー大学のコンピュータサイエンス・エンジニアリング学科に所属する14名の参加者を対象にユーザースタディを実施した。
• 属性レベルの不確実性を表す4つの異なるビジュアル表現（赤背景、信頼区間、アsterisk、決定論的値）を評価した。
• 不確実な評価に基づく製品の解釈およびランク付けに要した時間を測定し、認知的負担を評価した。
• ユーザーの認識、感情的反応、推論戦略を分析するため、言語化された思考過程を収集した。
• 不確実性へのユーザー行動、特にリスク回避行動、一貫性のある情報源への依存、追加情報の要請を分析した。
• 各表現の有効性および心理的影響を比較するために、定量的（タスク所要時間）および定性的（言語フィードバック）な手法を併用した。

実験結果

リサーチクエスチョン

• RQ1 不確実性表現の選択が、ユーザーが不確実なデータを解釈し、それに基づいて行動するまでの時間にどのように影響するか？
• RQ2 異なるビジュアル形式の不確実性が、ユーザーの感情的反応およびデータの信頼性の認識にどのように影響するか？
• RQ3 ユーザーが提示された不確実性の形式に応じて、意思決定戦略をどの程度変更するか？
• RQ4 どの不確実性表現が、不確実性下でも正確かつ一貫性のあるユーザーの判断を最も効果的に支援するか？
• RQ5 ユーザーが不確実なデータを解釈する際に、リスク回避的行動がどのように現れ、表現形式がその行動にどのように影響を与えるか？

主な発見

• 4つの不確実性表現間で認知的負担に顕著な差はなく、タスク完了に要した時間は比較的一定であった。
• 赤背景表現に対して参加者が強い感情反応を示し、一部は恐怖や驚きを示した。これは、強い心理的影響を及ぼしていることを示している。
• 多くのユーザーが、赤背景の値を無視したが、それが一貫した評価パターンに含まれていたにもかかわらず、視覚的目立たせの影響が意思決定を歪めている可能性がある。
• 信頼区間のように追加の文脈を提供する表現が好まれ、快適さと明確さの感覚と関連づけられていた。
• アスタリスク表現に対しては、多くの参加者が追加情報の要請をした。これは、低レベルの深刻さや重要性の低い不確実性を示している可能性がある。
• ユーザーはしばしばリスク回避戦略を採用し、一貫した評価を好んだが、不確実な値が低い場合には、真の値がより高い可能性があると仮定する傾向も見られた。