[논문 리뷰] Reimagining Application User Interface (UI) Design using Deep Learning Methods: Challenges and Opportunities

Subtain Malik, Muhammad Tariq Saeed Chani외 4명|arXiv (Cornell University)|2023. 03. 23.

Innovative Human-Technology Interaction인용 수 4

한 줄 요약

이 논문은 딥러닝(DL) 기법—예를 들어 CNN, RNN, GAN, 오토에인코더—을 사용하여 사용자 인터페이스(UI) 설계를 자동화하는 데 대해 검토하며, 제한된 다중 플랫폼 데이터셋과 낮은 설명 가능성과 같은 주요 과제를 밝혀낸다. 이 논문은 디자인 생성, 테스트, 그리고 Android Studio 및 Sketch와 같은 도구와의 통합을 간소화하기 위한 통합된 오픈소스 기반의 DL 기반 UI 자동화 프레임워크를 제안한다.

ABSTRACT

In this paper, we present a review of the recent work in deep learning methods for user interface design. The survey encompasses well known deep learning techniques (deep neural networks, convolutional neural networks, recurrent neural networks, autoencoders, and generative adversarial networks) and datasets widely used to design user interface applications. We highlight important problems and emerging research frontiers in this field. We believe that the use of deep learning for user interface design automation tasks could be one of the high potential fields for the advancement of the software development industry.

연구 동기 및 목표

• 사용자 인터페이스(UI) 설계 자동화 분야에서 딥러닝 응용의 현재 상태를 분석하는 것.
• 특히 다중 플랫폼 UI 데이터셋 부족과 설명 가능한 모델의 부재와 같은 기존 연구의 핵심 격차를 규명하는 것.
• 다양한 플랫폼 간 종단 간 UI 설계 자동화를 위한 중심화된 오픈소스 DL 프레임워크를 제안하는 것.
• Android Studio 및 Visual Studio와 같은 주류 소프트웨어 개발 도구에 딥러닝 모델을 통합하는 방법을 탐색하는 것.
• 정적 이미지 초과하여 자연어 처리(NLP)와 GAN을 활용한 코드 생성 및 동적 컴포넌트 제어를 포함한 UI 생성 기술을 발전시키는 것.

제안 방법

• Google Scholar에서 '딥러닝' + '사용자 인터페이스' 또는 '사용자 인터페이스 설계'를 키워드로 사용해 관련 논문 374편을 메타분석 수행.
• ACM Transactions on Graphics, IEEE TPAMI, CHI 등의 저널 및 컨퍼런스를 검토하여 UI/UX 설계 분야에서의 딥러닝 응용에 집중.
• UI 설계 작업을 위한 널리 사용되는 딥러닝 아키텍처—딥 네트워크, CNN, RNN, 오토에인코더, GAN—을 조사.
• 기존 데이터셋을 평가하여, 안드로이드를 제외한 iOS, 데스크톱, 웹 기반 UI 설계에 대해서는 자료가 매우 부족함을 확인.
• 요소 수준과 레이아웃 수준의 UI 생성을 위한 딥러닝 모델을 통합한 중심화된 오픈소스 프레임워크를 제안.
• 텍스트에서 이미지로의 변환 및 자연어 처리(NLP) 모델을 활용해 자연어 기반 설명으로부터 UI 컴포넌트와 코드를 생성하는 방법 탐색.

실험 결과

연구 질문

• RQ1 UI 설계 작업 자동화에 가장 효과적인 딥러닝 기법은 무엇인가?
• RQ2 다중 플랫폼 UI 설계 자동화 진전을 저해하는 주요 데이터 제약은 무엇인가?
• RQ3 GAN과 오토에인코더와 같은 생성 모델은 고해상도, 제어 가능한 UI 컴포넌트를 어떻게 합성할 수 있는가?
• RQ4 설명 가능한 인공지능은 딥러닝 기반 UI 설계 도구의 신뢰도 향상과 보급에 어떤 역할을 할 수 있는가?
• RQ5 딥러닝 기반 UI 생성은 Android Studio 및 Visual Studio와 같은 기존 소프트웨어 개발 환경에 어떻게 통합될 수 있는가?

주요 결과

• 검토한 374편의 논문 중 안드로이드 UI 설계에 중점을 둔 논문은 42편 뿐이며, iOS 및 데스크톱 플랫폼에 대한 연구는 매우 제한적이다.
• 고품질의 UI 데이터셋은 주로 안드로이드를 위해 제공되며, iOS 및 웹 기반 UI는 여전히 연구가 부족한 상태이다.
• 생성적 적대 기반 네트워크(GAN)는 고해상도, 제어 가능한 UI 컴포넌트 생성에 강력한 잠재력을 보이고 있다.
• 텍스트에서 이미지로의 변환 및 텍스트에서 코드로의 변환 모델은 자연어 사양으로부터 UI 설계를 생성하는 데 확장 가능하다.
• 딥러닝으로 생성된 UI의 설명 가능성과 해석 가능성은 여전히 주요 과제로 남아 있어 사용자 신뢰도 및 보급에 영향을 미친다.
• UI 설계 자동화를 위한 중심화된 오픈소스 딥러닝 프레임워크는 소프트웨어 개발 생태계 전반에서의 보급을 크게 가속화할 수 있다.