[论文解读] Do we agree on user interface aesthetics of Android apps?

Christiane Gresse von Wangenheim, João V. A. Porto+2 more|arXiv (Cornell University)|Dec 21, 2018

Innovative Human-Technology Interaction参考文献 6被引用 7

一句话总结

本研究通过收集10名参与者对100个Android应用用户界面的评分，调查了在视觉美学方面的人工评分者一致性。结果显示，尽管大多数界面被认为不美观而非美观，评分者之间的一致性仅处于中等水平，分歧主要源于布局、色彩、字体、形状和背景图像等细微设计差异。

ABSTRACT

Context: Visual aesthetics is increasingly seen as an essential factor in perceived usability, interaction, and overall appraisal of user interfaces especially with respect to mobile applications. Yet, a question that remains is how to assess and to which extend users agree on visual aesthetics. Objective: This paper analyzes the inter-rater agreement on visual aesthetics of user interfaces of Android apps as a basis for guidelines and evaluation models. Method: We systematically collected ratings on the visual aesthetics of 100 user interfaces of Android apps from 10 participants and analyzed the frequency distribution, reliability and influencing design aspects. Results: In general, user interfaces of Android apps are perceived more ugly than beautiful. Yet, raters only moderately agree on the visual aesthetics. Disagreements seem to be related to subtle differences with respect to layout, shapes, colors, typography, and background images. Conclusion: Visual aesthetics is a key factor for the success of apps. However, the considerable disagreement of raters on the perceived visual aesthetics indicates the need for a better understanding of this software quality with respect to mobile apps.

研究动机与目标

• 了解用户在评价Android应用用户界面视觉美学方面的一致性水平。
• 识别导致美学判断分歧的设计方面。
• 为移动UI质量评估的评价模型和指南开发提供依据。
• 评估在可用性和软件质量评估背景下，美学评分作为度量指标的可靠性。

提出的方法

• 系统性地收集10名参与者对100个Android应用用户界面的视觉美学评分。
• 应用频次分布分析以评估美学判断的普遍性。
• 使用可靠性分析（如评分者间可靠性度量）来衡量评分者之间的一致性。
• 对与美学分歧相关的具体设计方面（如布局、色彩、字体、形状和背景图像）进行定性分析。
• 基于评分者共识，将美学感知分类为“美观”或“不美观”。

实验结果

研究问题

• RQ1 用户在多大程度上就Android应用用户界面的视觉美学达成一致？
• RQ2 哪些具体设计元素最显著地影响美学评分的分歧？
• RQ3 在Android应用样本中，美学判断的频次分布（美观 vs. 不美观）如何变化？
• RQ4 在UI评估中，美学评分作为度量指标的可靠性如何？

主要发现

• 大多数Android应用用户界面被评分者感知为不美观而非美观。
• 在视觉美学方面，评分者间的一致性仅为中等水平，表明用户之间共识有限。
• 分歧主要与布局、色彩使用、字体、形状和背景图像的细微差异有关。
• 共识水平较低表明，视觉美学在移动UI中是一种高度主观的品质。
• 尽管可靠性处于中等水平，美学评分仍是UI评估中潜在有用但不一致的度量指标。