[論文レビュー] A Computational Method for Evaluating UI Patterns

Bardia Doosti, Tao Dong+2 more|arXiv (Cornell University)|Jul 11, 2018

Innovative Human-Technology Interaction参考文献 17被引用数 3

ひとこと要約

本論文は、9,000以上のAndroidアプリから得たビュー階層、スクリーンショット、アプリメタデータを分析することで、UIデザインパターン言語の実世界への影響を評価する計算手法を提案する。コンピュータビジョンとテキストマイニングを用いてMaterial Designコンポーネントを検出することで、Material Designの使用がアプリの評価やインストール数の上昇と正の相関を示すことが判明し、浮動型アクションボタンやナビゲーションドロワーといった議論の多いパターンに関する設計の議論を、データドリブンな知見で支援する。

ABSTRACT

UI design languages, such as Google's Material Design, make applications both easier to develop and easier to learn by providing a set of standard UI components. Nonetheless, it is hard to assess the impact of design languages in the wild. Moreover, designers often get stranded by strong-opinionated debates around the merit of certain UI components, such as the Floating Action Button and the Navigation Drawer. To address these challenges, this short paper introduces a method for measuring the impact of design languages and informing design debates through analyzing a dataset consisting of view hierarchies, screenshots, and app metadata for more than 9,000 mobile apps. Our data analysis shows that use of Material Design is positively correlated to app ratings, and to some extent, also the number of installs. Furthermore, we show that use of UI components vary by app category, suggesting a more nuanced view needed in design debates.

研究の動機と目的

• 生産環境における大規模なUIパターン言語（例：Material Design）の実世界的影響を理解すること。
• 特に実験的環境を超えた実世界応用におけるパターン言語の実証的評価の不足を解消すること。
• 大規模データを用いて、浮動型アクションボタンやナビゲーションドロワーのような議論の多いUIコンポーネントに関する設計の議論を支援すること。
• アプリの種別に応じてデザインパターンの使用がどのように異なるか、また文脈がその有効性に与える影響を検討すること。
• 実世界のアプリにおいてUIデザインパターンの有用性をスケーラブルかつデータドリブンな方法で評価するための手法を開発すること。

提案手法

• Google Playのメタデータを含む、Ricoリポジトリから9,000件のAndroidアプリのデータセットを収集。
• スクリーンショットにコンピュータビジョン技術を適用し、6つの主要なMaterial Designコンポーネントの検出と妥当性を確認することで、誤検出を低減。
• ビュー階層データに対するテキストマイニングとパターンマッチングを用いて、浮動型アクションボタンやナビゲーションドロワーなどのUIコンポーネントを同定。
• パターン検出結果をアプリメタデータ（特に平均評価とインストール数）と統合し、相関関係を測定。
• アプリの種別（例：飲食物、育児）に分類し、異なる分野における使用パターンを分析。
• 統計的分析を用いて、Material Designの採用とアプリ品質指標との関係を評価。

実験結果

リサーチクエスチョン

• RQ1 実世界において、Material Designの採用は、評価やインストール数といったアプリ品質指標とどのように相関するか？
• RQ2 開発者は、浮動型アクションボタンやナビゲーションドロワーといった議論の多いUIコンポーネントを、異なるアプリカテゴリでどのように使用しているか？
• RQ3 大規模データ分析は、主観的または限られた事例に基づく議論に陥りがちな設計の議論に、客観的な知見を提供できるか？
• RQ4 UIパターンの有効性は、そのパターンが使用されるアプリケーションの文脈や分野に依存するか？
• RQ5 計算手法は、実世界のモバイルアプリにおいて、デザインパターンの使用状況を信頼性高く検出・定量化できるか？

主な発見

• Material Designの使用は、ユーザー体験への肯定的影響を示す定量的証拠として、高いアプリ評価と正の相関を示している。
• Material Designの採用とアプリのインストール数の間にも正の相関が認められ、広範な魅力と使いやすさが示唆されている。
• 浮動型アクションボタンは、注文の送信やイベントの記録といった主要な操作を支援する必要がある飲食物や育児関連のアプリで、より頻繁に使用されている。
• ナビゲーションドロワーは、多様なアプリカテゴリにわたり広く使われており、デザイン論議での批判にもかかわらず、広く受け入れられていることが示されている。
• デザインブログでの強い批判にもかかわらず、高評価・高インストール数のアプリに広く使われていることから、浮動型アクションボタンやナビゲーションドロワーの有用性は文脈的に妥当であると示唆されている。
• 本研究は、デザインパターンの有効性が文脈に依存することを示しており、アプリカテゴリごとに使用パターンに有意義な差が認められることを示している。