[논문 리뷰] A Computational Method for Evaluating UI Patterns

Bardia Doosti, Tao Dong외 2명|arXiv (Cornell University)|2018. 07. 11.

Innovative Human-Technology Interaction참고 문헌 17인용 수 3

한 줄 요약

이 논문은 9,000개 이상의 안드로이드 앱에서 뷰 계층, 스크린샷, 앱 메타데이터를 분석함으로써 UI 디자인 패턴 언어의 실제 세계 영향을 평가하기 위한 계산 방법을 제안한다. 컴퓨터 비전과 텍스트 마이닝을 활용해 메트로폴리탄 디자인 컴포넌트를 탐지함으로써, 메트로폴리탄 디자인 사용이 높은 앱 평가와 설치 수와 정확히 상관관계가 있음을 발견하여, 플로ating 액션 단추나 네비게이션 드로어와 같은 논란의 여지가 있는 패턴들에 대한 설계 논의를 뒷받침하는 데이터 기반 통찰을 제공한다.

ABSTRACT

UI design languages, such as Google's Material Design, make applications both easier to develop and easier to learn by providing a set of standard UI components. Nonetheless, it is hard to assess the impact of design languages in the wild. Moreover, designers often get stranded by strong-opinionated debates around the merit of certain UI components, such as the Floating Action Button and the Navigation Drawer. To address these challenges, this short paper introduces a method for measuring the impact of design languages and informing design debates through analyzing a dataset consisting of view hierarchies, screenshots, and app metadata for more than 9,000 mobile apps. Our data analysis shows that use of Material Design is positively correlated to app ratings, and to some extent, also the number of installs. Furthermore, we show that use of UI components vary by app category, suggesting a more nuanced view needed in design debates.

연구 동기 및 목표

• 생산 환경에서 대규모 UI 패턴 언어인 메트로폴리탄 디자인의 실제 영향을 이해하기 위해.
• 특히 실험실 외부 환경에서의 패턴 언어에 대한 실증적 평가 부족을 해결하기 위해.
• 대규모 데이터를 활용해 플로팅 액션 단추나 네비게이션 드로어와 같은 논란의 여지가 있는 UI 컴포넌트에 대한 지속적인 설계 논의를 뒷받침하기 위해.
• 앱 카테고리에 따라 설계 패턴 사용 방식이 어떻게 달라지는지, 그리고 맥락이 그 효과성에 영향을 주는지 분석하기 위해.
• 실세계에서 UI 설계 패턴의 유용성을 평가하기 위한 확장 가능한 데이터 기반 방법론을 개발하기 위해.

제안 방법

• 구글 플레이에서 확보한 뷰 계층, 스크린샷, 메타데이터를 포함한 9,000개의 안드로이드 앱 데이터셋을 확보하였다.
• 스크린샷에 컴퓨터 비전 기법을 적용하여 메트로폴리탄 디자인의 여섯 가지 핵심 컴포넌트를 탐지하고 검증함으로써 오류 탐지 비율을 낮췄다.
• 뷰 계층 데이터에 대한 텍스트 마이닝과 패턴 매칭을 활용해 플로팅 액션 단추, 네비게이션 드로어 등의 UI 컴포넌트를 식별하였다.
• 패턴 탐지 결과를 앱 메타데이터(특히 평균 평가 및 설치 수)와 융합하여 상관관계를 측정하였다.
• 식음료, 육아 등과 같은 카테고리(예: 식음료, 육아)로 앱을 분류하여 다양한 도메인에서의 사용 패턴을 분석하였다.
• 통계 분석을 통해 메트로폴리탄 디자인 도입과 앱 품질 지표 간의 관계를 평가하였다.

실험 결과

연구 질문

• RQ1 실세계에서 메트로폴리탄 디자인 도입은 앱 품질 지표(예: 평가 및 설치 수)와 어떻게 상관관계가 있는가?
• RQ2 개발자들은 다양한 앱 카테고리에서 논란의 여지가 있는 UI 컴포넌트(예: 플로팅 액션 단추, 네비게이션 드로어)를 어떻게 사용하는가?
• RQ3 대규모 데이터 분석은 주로 주관적 또는 제한된 사례 기반 증거에 기반한 설계 논의에 대해 객관적인 통찰을 제공할 수 있는가?
• RQ4 UI 패턴의 효과성은 그가 사용되는 애플리케이션의 맥락 또는 도메인에 따라 달라지는가?
• RQ5 계산 기반 방법은 실세계 모바일 애플리케이션에서 설계 패턴의 사용을 신뢰성 있게 탐지하고 정량화할 수 있는가?

주요 결과

• 메트로폴리탄 디자인 사용은 더 높은 앱 평가와 정확히 상관관계가 있으며, 사용자 경험에 긍정적인 영향을 미친다는 정량적 증거를 제공한다.
• 메트로폴리탄 디자인 도입과 앱 설치 수 사이에도 긍정적인 상관관계가 존재하여, 더 넓은 인기와 사용성 향상을 시사한다.
• 플로팅 액션 단추는 주로 주문 또는 이벤트 기록과 같은 주요 기능을 지원하는 식음료 및 육아 카테고리의 앱에서 더 자주 사용된다.
• 네비게이션 드로어는 다양한 앱 카테고리에 걸쳐 널리 사용되고 있어 설계 논의에서 비판을 받더라도 광범위하게 수용되고 있음을 보여준다.
• 디자인 블로그에서 강력한 비판이 제기됨에도 불구하고, 높은 평가와 높은 설치 수를 기록한 앱에서 플로팅 액션 단추와 네비게이션 드로어가 널리 사용되고 있음을 고려할 때, 이 컴포넌트들의 유용성은 맥락적으로 타당하다는 것을 시사한다.
• 본 연구는 설계 패턴의 효과성이 맥락에 따라 평가되어야 한다는 점을 입증하며, 앱 카테고리에 따라 사용 패턴이 유의미하게 달라진다는 점을 보여준다.