[论文解读] A Computational Method for Evaluating UI Patterns

Bardia Doosti, Tao Dong+2 more|arXiv (Cornell University)|Jul 11, 2018

Innovative Human-Technology Interaction参考文献 17被引用 3

一句话总结

本文提出一种计算方法，通过分析来自超过9,000个Android应用的视图层级、截图和应用元数据，评估UI设计模式语言在现实世界中的影响。利用计算机视觉和文本挖掘技术检测Material Design组件，研究发现Material Design的使用与更高的应用评分及安装量呈正相关，为关于浮点操作按钮和导航抽屉等有争议模式的设计辩论提供了数据驱动的洞见。

ABSTRACT

UI design languages, such as Google's Material Design, make applications both easier to develop and easier to learn by providing a set of standard UI components. Nonetheless, it is hard to assess the impact of design languages in the wild. Moreover, designers often get stranded by strong-opinionated debates around the merit of certain UI components, such as the Floating Action Button and the Navigation Drawer. To address these challenges, this short paper introduces a method for measuring the impact of design languages and informing design debates through analyzing a dataset consisting of view hierarchies, screenshots, and app metadata for more than 9,000 mobile apps. Our data analysis shows that use of Material Design is positively correlated to app ratings, and to some extent, also the number of installs. Furthermore, we show that use of UI components vary by app category, suggesting a more nuanced view needed in design debates.

研究动机与目标

• 理解像Material Design这样的大规模UI模式语言在生产生态系统中的真实世界影响。
• 解决在真实应用场景中（尤其是实验室环境之外）对模式语言缺乏实证评估的问题。
• 利用大规模数据，为关于浮点操作按钮和导航抽屉等有争议的UI组件的持续设计辩论提供依据。
• 研究不同应用类别中设计模式的使用差异，以及上下文是否影响其有效性。
• 开发一种可扩展的、基于数据的方法论，用于评估真实世界移动应用中UI设计模式的实用性。

提出的方法

• 从Rico数据仓库收集了9,000个Android应用的数据集，包括来自Google Play的视图层级、截图和元数据。
• 对截图应用计算机视觉技术，以检测并验证六种关键Material Design组件的存在，降低误报率。
• 对视图层级数据使用文本挖掘和模式匹配技术，识别UI组件如浮点操作按钮和导航抽屉。
• 将模式检测结果与应用元数据（特别是平均评分和安装数量）结合，以衡量其相关性。
• 按应用类型（如食品与饮料、育儿等）对应用进行分类，以分析不同领域中的使用模式。
• 使用统计分析评估Material Design采用情况与应用质量指标之间的关系。

实验结果

研究问题

• RQ1 Material Design的采用在现实世界中与应用质量指标（如评分和安装量）的相关性如何？
• RQ2 开发者在不同应用类别中如何使用浮点操作按钮和导航抽屉等有争议的UI组件？
• RQ3 大规模数据分析能否提供客观洞见，以支持那些通常基于主观或有限轶事证据的设计辩论？
• RQ4 UI模式的有效性是否取决于其所在应用的上下文或领域？
• RQ5 计算方法能否可靠地检测并量化真实世界移动应用中设计模式的使用？

主要发现

• Material Design的使用与更高的应用评分呈正相关，为该设计语言对用户体验的积极影响提供了量化证据。
• Material Design的采用与应用安装量之间也存在正相关关系，表明其具有更广泛的吸引力和可用性。
• 浮点操作按钮在食品与饮料及育儿类应用中使用更为频繁，可能因其支持如下单或记录事件等主要操作。
• 导航抽屉在各类应用中广泛使用，表明尽管在设计讨论中受到批评，但其接受度依然很广。
• 尽管设计博客中对此类组件多有批评，但在高评分、高安装量的应用中仍广泛使用浮点操作按钮和导航抽屉，表明其有效性具有上下文合理性。
• 本研究表明，设计模式的有效性应结合上下文进行评估，因为其使用模式在不同应用类别中存在显著差异。