[論文レビュー] Do we agree on user interface aesthetics of Android apps?

Christiane Gresse von Wangenheim, João V. A. Porto+2 more|arXiv (Cornell University)|Dec 21, 2018

Innovative Human-Technology Interaction参考文献 6被引用数 7

ひとこと要約

本研究では、10名の参加者が100のAndroidアプリのUIに対して与えた評価を通じて、AndroidアプリのUIの視覚的美的な評価における評価者間合意度を調査した。結果として、多くのUIが美しいよりも醜いと感じられる一方で、評価者間の合意度はやや低い水準にとどまり、レイアウト、色使い、フォント、形状、背景画像の微細な差異が主な要因であることが明らかになった。

ABSTRACT

Context: Visual aesthetics is increasingly seen as an essential factor in perceived usability, interaction, and overall appraisal of user interfaces especially with respect to mobile applications. Yet, a question that remains is how to assess and to which extend users agree on visual aesthetics. Objective: This paper analyzes the inter-rater agreement on visual aesthetics of user interfaces of Android apps as a basis for guidelines and evaluation models. Method: We systematically collected ratings on the visual aesthetics of 100 user interfaces of Android apps from 10 participants and analyzed the frequency distribution, reliability and influencing design aspects. Results: In general, user interfaces of Android apps are perceived more ugly than beautiful. Yet, raters only moderately agree on the visual aesthetics. Disagreements seem to be related to subtle differences with respect to layout, shapes, colors, typography, and background images. Conclusion: Visual aesthetics is a key factor for the success of apps. However, the considerable disagreement of raters on the perceived visual aesthetics indicates the need for a better understanding of this software quality with respect to mobile apps.

研究の動機と目的

• ユーザーがAndroidアプリのUIの視覚的美的な質を評価する際の合意度の程度を理解すること。
• 美的判断の不一致を引き起こす要因となるデザイン的側面を特定すること。
• モバイルUI品質評価のための評価モデルおよびガイドラインの開発を支援すること。
• ユーザビリティおよびソフトウェア品質評価の文脈において、美的評価がどれほど信頼できる指標であるかを評価すること。

提案手法

• 10名の参加者による100のAndroidアプリのUIに対する視覚的美的評価の体系的収集。
• 美的評価の頻度分布分析を用いて、美的判断の一般的な傾向を評価。
• 信頼性分析（例：評価者間信頼性指標など）を用いて、評価者間の一貫性を測定。
• レイアウト、色使い、フォント、形状、背景画像などのデザイン的側面について、美的不一致に関連する要因を定性的に分析。
• 評価者の合意に基づき、美的認識を「美しい」と「醜い」に分類。

実験結果

リサーチクエスチョン

• RQ1 ユーザーは、AndroidアプリのUIの視覚的美的な質についてどの程度合意しているか？
• RQ2 どの具体的なデザイン的要素が美的評価の不一致を最も顕著に引き起こしているか？
• RQ3 サンプルに含まれるAndroidアプリ群において、美的判断（美しい対醜い）の頻度分布はどのように変動するか？
• RQ4 UI評価の指標として美的評価が使用される際、その信頼性はどの程度か？

主な発見

• 大多数のAndroidアプリのUIが、評価者によって美しいよりも醜いと感じられた。
• 視覚的美的評価における評価者間合意度はやや低い水準であり、ユーザー間での合意形成が限定的であることを示している。
• 不一致は主にレイアウト、色使い、フォント、形状、背景画像の微細な差異に起因している。
• 合意度の低さは、モバイルUIにおいて視覚的美的質が極めて主観的であることを示唆している。
• やや低い信頼性であるものの、美的評価はUI評価のための有用ではあるが一貫性に欠ける指標のままである。