[논문 리뷰] ILuvUI: Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations

Yue Jiang, Eldon Schoop외 2명|arXiv (Cornell University)|2023. 10. 07.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 335만 건의 지시 튜닝된 다중모달 UI 스크린샷과 LLM 및 UI 요소 검출기로 생성된 텍스트 상호작용을 기반으로 미세조정된 시각-언어 모델인 ILuvUI를 소개한다. 이 방법은 인간 레이블링된 캡션을 제거하여 제로샷 UI 이해를 가능하게 하며, UI 기술 설명, 추론, 다단계 탐색 작업에서 뛰어난 성능을 달성하여 비-UI 튜닝된 VLM을 능가한다.

ABSTRACT

Multimodal Vision-Language Models (VLMs) enable powerful applications from their fused understanding of images and language, but many perform poorly on UI tasks due to the lack of UI training data. In this paper, we adapt a recipe for generating paired text-image training data for VLMs to the UI domain by combining existing pixel-based methods with a Large Language Model (LLM). Unlike prior art, our method requires no human-provided annotations, and it can be applied to any dataset of UI screenshots. We generate a dataset of 335K conversational examples paired with UIs that cover Q&A, UI descriptions, and planning, and use it to fine-tune a conversational VLM for UI tasks. To assess the performance of our model, we benchmark it on UI element detection tasks, evaluate response quality, and showcase its applicability to multi-step UI navigation and planning.

연구 동기 및 목표

• 시각-언어 모델(VLM)의 UI 도메인에서 다중모달 훈련 데이터 부족 문제를 해결하기 위해.
• 인간 레이블링 없이도 다각적이고 고품질의 텍스트-이미지 쌍을 생성할 수 있는 확장 가능한 자동화된 방법을 개발하기 위해.
• 기술 설명, 추론, 다단계 탐색을 포함한 UI 작업에서 지시를 따르는 데에 적합하도록 VLM을 미세조정하기 위해.
• UI 이해 벤치마크에서 모델 성능을 평가하고, 예측되지 않은 UI 작업으로의 일반화 능력을 입증하기 위해.

제안 방법

• 기존의 UI 요소 검출 모델을 활용하여 UI 스크린샷에서 구조화된 표현을 추출한다.
• 대규모 언어 모델(GPT-3.5-turbo)을 사용하여 검출된 UI 요소와 맥락을 바탕으로 여섯 가지 유형의 텍스트 응답—질의응답, 기술 설명, 동작 목록, 결과 예측, 요소 선택, 계획 수립—을 생성한다.
• 픽셀 기반 UI 스크린샷과 LLM이 생성한 텍스트를 결합하여, 미세조정을 위한 335만 건의 이미지-지시 예제 쌍을 생성한다.
• 합성 UI 데이터셋을 기반으로 오픈소스 LLaVA VLM을 미세조정하여 지시를 따르는 시각적 에이전트인 ILuvUI를 구축한다.
• 다양한 템플릿을 사용한 프롬프트 엔지니어링을 통해 각 UI 스크린샷에 대해 다양하고 현실적이며 작업에 특화된 응답을 생성한다.
• UI 요소 검출, 기술 설명, 다단계 탐색 작업에서 제로샷 및 피셔샷 평가를 위해 모델을 활용한다.

실험 결과

연구 질문

• RQ1 인간 레이블링된 캡션 없이도 합성 지시 튜닝 UI 데이터로 효과적으로 시각-언어 모델을 미세조정할 수 있는가?
• RQ2 요소 검출, 기술 설명, 동작 계획과 같은 UI 전용 작업에서 해당 모델의 성능은 어떠한가?
• RQ3 예측되지 않은 UI 레이아웃으로 일반화되어 자연어 지시에 따라 다단계 탐색을 수행할 수 있는가?
• RQ4 UI 이해 벤치마크에서 비-UI 튜닝된 VLM에 비해 모델의 성능은 어떻게 비교되는가?

주요 결과

• ILuvUI 모델은 UI 요소 검출 및 유형 식별에서 비-UI 튜닝된 VLM을 능가하는 뛰어난 성능을 보였다.
• 정성적 및 정량적 평가를 통해 고품질의 맥락에 부합하는 기술 설명과 동작 추천을 생성하였다.
• ILuvUI는 추론 및 계획 능력을 보이며, 순차적 동작 예측을 통해 정지계측기 시작과 같은 다단계 UI 작업을 성공적으로 수행하였다.
• 합성 데이터 생성 파이프라인은 인간 레이블링 없이도 다양한, 현실적인, 작업에 특화된 응답을 생성하여 확장 가능한 데이터 생성을 가능하게 하였다.
• 모델는 예측되지 않은 UI 레이아웃으로 일반화되며, 다양한 애플리케이션 도메인에서 안정적인 성능을 보였다. 벤치마크 평가를 통해 이를 입증하였다.
• 이 방법은 제로샷 UI 이해를 가능하게 하며, 음성 제어 기반 UI 상호작용과 자동화된 GUI 테스팅을 위한 길을 열어준다.