[論文レビュー] Reimagining Application User Interface (UI) Design using Deep Learning Methods: Challenges and Opportunities

Subtain Malik, Muhammad Tariq Saeed Chani+4 more|arXiv (Cornell University)|Mar 23, 2023

Innovative Human-Technology Interaction被引用数 4

ひとこと要約

この論文は、CNN、RNN、GAN、オートエンコーダーなどの深層学習（DL）手法を用いたユーザーインターフェース（UI）設計の自動化についてレビューし、限られたクロスプラットフォームデータセットや説明性の低さといった主な課題を特定している。本稿では、Android Studio や Sketch などのツールと統合可能な、一元的でオープンソースのDLベースのUI自動化フレームワークを提案している。

ABSTRACT

In this paper, we present a review of the recent work in deep learning methods for user interface design. The survey encompasses well known deep learning techniques (deep neural networks, convolutional neural networks, recurrent neural networks, autoencoders, and generative adversarial networks) and datasets widely used to design user interface applications. We highlight important problems and emerging research frontiers in this field. We believe that the use of deep learning for user interface design automation tasks could be one of the high potential fields for the advancement of the software development industry.

研究の動機と目的

• ユーザーインターフェース（UI）設計自動化における深層学習の応用の現状を分析すること。
• 特にクロスプラットフォームUIデータセットの欠如と説明可能なモデルの不足といった、既存研究における重要なギャップを特定すること。
• 複数プラットフォームにわたるエンドツーエンドのUI設計自動化を実現する、集中型でオープンソースのDLフレームワークを提案すること。
• Android Studio や Visual Studio などの主流のソフトウェア開発ツールへのDLモデルの統合を検討すること。
• 自然言語処理（NLP）とGANを活用して、静的画像を超えたコード合成や動的コンポーネント制御を含むUI生成を進める

提案手法

• Google Scholarから374件の関連論文をキーワード「deep learning」＋「user interface」または「user interface design」を用いてメタアナリシスを実施。
• ACM Transactions on Graphics、IEEE TPAMI、CHI などの学術誌・国際会議を対象に、UI/UX設計におけるDLの応用をレビュー。
• UI設計タスクに適した広く使われる深層学習アーキテクチャ（深層ニューラルネットワーク、CNN、RNN、オートエンコーダー、GAN）を調査。
• 既存のデータセットを評価し、Androidを除いてiOS、デスクトップ、Web UIデザインのデータが著しく不足していることを確認。
• 要素レベルおよびレイアウトレベルの両方のUI生成を統合する、集中型でオープンソースのフレームワークを提案。
• 自然言語記述からUIコンポーネントやコードを生成するためのテキストから画像への変換およびNLPモデルの活用を検討。

実験結果

リサーチクエスチョン

• RQ1 UI設計タスクの自動化に最も効果的な深層学習技術は何か？
• RQ2 クロスプラットフォームUI設計自動化の進展を妨げる主なデータ制限は何か？
• RQ3 GANやオートエンコーダーのような生成モデルを活用して、高精細なUIコンポーネントを合成するにはどうすればよいか？
• RQ4 説明可能なAI（XAI）は、DLベースのUI設計ツールの信頼性と採用促進にどのような役割を果たせるか？
• RQ5 Android Studio や Visual Studio などの既存のソフトウェア開発環境へのDLベースのUI生成の統合方法は何か？

主な発見

• 374件のレビュー論文のうち、AndroidにおけるUI設計に焦点を当てたのはたった42件にとどまり、iOS やデスクトッププラットフォームにおける研究は極めて限られている。
• 高品質なUIデータセットは主にAndroid向けに提供されているが、iOS やWebベースのUIは研究が著しく不足している。
• 敵対的生成ネットワーク（GAN）は、高解像度で制御可能なUIコンポーネントの生成において強く有望な可能性を示している。
• テキストから画像への変換およびテキストからコードへの変換モデルは、自然言語仕様からUI設計を生成する応用に拡張可能である。
• DLで生成されたUIの説明可能性と解釈可能性は依然として大きな課題であり、ユーザーの信頼性と採用を制限している。
• 集中型でオープンソースのDLフレームワークをUI設計自動化に導入すれば、ソフトウェア開発エコシステム全体での採用促進が顕著に加速される可能性がある。