[논문 리뷰] Do we agree on user interface aesthetics of Android apps?

Christiane Gresse von Wangenheim, João V. A. Porto외 2명|arXiv (Cornell University)|2018. 12. 21.

Innovative Human-Technology Interaction참고 문헌 6인용 수 7

한 줄 요약

이 연구는 10명의 참가자가 100개의 안드로이드 앱 인터페이스에 대해 시각적 미감을 평가하면서 평가자 간 일치도를 조사한다. 결과적으로 대부분의 인터페이스가 아름답기보다는 추상적으로 느껴지지만, 평가자 간 일치도는 중간 수준에 머물러 있으며, 이는 주로 레이아웃, 색상, 서체, 형태, 배경 이미지 등의 미세한 디자인 차이에 기인한다.

ABSTRACT

Context: Visual aesthetics is increasingly seen as an essential factor in perceived usability, interaction, and overall appraisal of user interfaces especially with respect to mobile applications. Yet, a question that remains is how to assess and to which extend users agree on visual aesthetics. Objective: This paper analyzes the inter-rater agreement on visual aesthetics of user interfaces of Android apps as a basis for guidelines and evaluation models. Method: We systematically collected ratings on the visual aesthetics of 100 user interfaces of Android apps from 10 participants and analyzed the frequency distribution, reliability and influencing design aspects. Results: In general, user interfaces of Android apps are perceived more ugly than beautiful. Yet, raters only moderately agree on the visual aesthetics. Disagreements seem to be related to subtle differences with respect to layout, shapes, colors, typography, and background images. Conclusion: Visual aesthetics is a key factor for the success of apps. However, the considerable disagreement of raters on the perceived visual aesthetics indicates the need for a better understanding of this software quality with respect to mobile apps.

연구 동기 및 목표

• 사용자들이 안드로이드 앱 사용자 인터페이스의 시각적 미감을 평가할 때의 일치 수준을 이해하는 것.
• 미감 평가에서 갈등을 유도하는 디자인 요소를 특정하는 것.
• 모바일 UI 품질 평가를 위한 평가 모델 및 지침 개발을 지원하는 것.
• 사용성 및 소프트웨어 품질 평가 맥락에서 미감 평가의 신뢰성 평가

제안 방법

• 10명의 참가자가 100개의 안드로이드 앱 사용자 인터페이스에 대해 시각적 미감 평가를 체계적으로 수집하는 것.
• 미감 평가의 빈도 분포 분석을 통해 평가의 일반성 평가.
• 신뢰도 분석(예: 평가자 간 신뢰도 지표 등)을 통해 평가자 간 일관성 측정.
• 레이아웃, 색상, 서체, 형태, 배경 이미지 등의 디자인 요소와 관련된 미감 갈등에 대한 정성적 분석.
• 평가자 공감대를 기반으로 시각적 인식을 '아름답다' 또는 '추상적이다'로 분류하는 것.

실험 결과

연구 질문

• RQ1 사용자들은 안드로이드 앱 사용자 인터페이스의 시각적 미감에 대해 어느 정도 일치하는가?
• RQ2 어느 특정 디자인 요소가 미감 평가 갈등에 가장 크게 기여하는가?
• RQ3 샘플 내 안드로이드 앱들에 대해 미감 평가의 빈도 분포(아름답다 vs. 추상적이다)는 어떻게 변화하는가?
• RQ4 UI 평가에서 미감 평가를 지표로 사용할 경우의 신뢰도는 어떠한가?

주요 결과

• 대부분의 안드로이드 앱 사용자 인터페이스가 평가자들에 의해 아름답기보다는 추상적으로 인식되었다.
• 시각적 미감에 대한 평가자 간 일치도는 중간 수준에 머물러 있어 사용자 간 공감대가 제한적임을 시사한다.
• 갈등은 주로 레이아웃, 색상 사용, 서체, 형태, 배경 이미지 등의 미세한 차이에 기인한다.
• 낮은 일치도 수준은 모바일 UI에서 시각적 미감이 매우 주관적인 품질임을 시사한다.
• 중간 정도의 신뢰성에도 불구하고, 미감 평가는 UI 평가에 잠재적으로 유용하지만 일관성 없는 지표로 남아 있다.