[논문 리뷰] Automating UI Optimization through Multi-Agentic Reasoning

Zhipeng Li, Christoph Gebhardt외 2명|arXiv (Cornell University)|2026. 02. 13.

Interactive and Immersive Displays인용 수 0

한 줄 요약

AutoOptimization은 혼합/증강 현실 설정에서 구두 사용자 지시를 기반으로 다목적 UI 레이아웃을 자동으로 구성, 최적화 및 검증하기 위해 순차적 비전-언어 모델 에이전트를 사용하는 프레임워크입니다.

ABSTRACT

We present AutoOptimization, a novel multi-objective optimization framework for adapting user interfaces. From a user's verbal preferences for changing a UI, our framework guides a prioritization-based Pareto frontier search over candidate layouts. It selects suitable objective functions for UI placement while simultaneously parameterizing them according to the user's instructions to define the optimization problem. A solver then generates a series of optimal UI layouts, which our framework validates against the user's instructions to adapt the UI with the final solution. Our approach thus overcomes the previous need for manual inspection of layouts and the use of population averages for objective parameters. We integrate multiple agents sequentially within our framework, enabling the system to leverage their reasoning capabilities to interpret user preferences, configure the optimization problem, and validate optimization outcomes.

연구 동기 및 목표

• 사용자 지시로부터 최종 레이아웃까지 엔드 투 엔드 UI 적응 워크플로우를 자동화합니다.
• UI 배치를 위한 다목적 최적화의 동적이고 사용자 특정 커스텀화를 가능하게 합니다.
• UI 최적화에서 수동 설정 및 인구 평균 파라미터에 대한 의존도를 줄입니다.
• 지시를 해석하고, 최적화를 구성하며 결과를 검증하기 위해 비전-언어 모델 에이전트를 활용합니다.

제안 방법

• 비전-언어 모델(VLM)과 최적화 모듈을 통합한 순차적이고 에이전트 기반의 AutoOptimization 프레임워크를 도입합니다.
• 최적화 전에 사용자 지시를 명확히 하기 위해 애매성 탐지를 사용합니다.
• 선택 가능한 목표와 매개변수를 갖춘 동적으로 구성된 다목적 최적화 문제로 사용자 지시를 번역합니다.
• 최적화 솔버를 통해 후보 레이아웃의 파레토 프런트를 생성합니다.
• VLM을 사용하여 파레토 후보를 사용자의 원래 지시와 비교해 최종 레이아웃을 검증 및 선택합니다.
• 향후 지시 및 출력을 개선하기 위해 시간에 따라 사용자의 선호를 집계합니다.

실험 결과

연구 질문

• RQ1 음성 지시로부터 UI 최적화를 위한 애매성 탐지와 문제 구성을 자동화할 수 있는 VLM 기반 에이전트가 있나요?
• RQ2 MR/MR 설정에서 솔버가 사용자의 지시에 맞는 파레토 최적 UI 레이아웃을 얼마나 효과적으로 생성할 수 있나요?
• RQ3 VLM 기반 검증 에이전트가 파레토 최적 설계 중에서 사용자의 의도에 가장 잘 부합하는 최종 레이아웃을 정확하게 선택할 수 있나요?
• RQ4 시간에 따라 사용자의 선호를 집계하는 것이 최적화된 레이아웃과 사용자 요구 간의 일치를 향상시키나요?

주요 결과

• 애매성 탐지는 MR 지시에 대해 leave-one-user-out에서 약 91%, leave-one-scenario-out 교차 검증에서 93%의 정확도를 달성했습니다.
• VLM 기반 레이아웃 선택이 파레토 최적 후보에서 참가자 선택과 일치했습니다(참가자 26명, VLM 인스턴스 26개, 후보 72개, 시나리오 18개).
• 엔드 투 엔드 평가에서 AutoOptimization 레이아웃이 사용자 선호도에 더 가깝게 정렬되었고 기준선보다 조정이 적게 필요했으며 수동 배치와 유사한 사용자 만족도와 감소된 노력을 보였습니다.
• 복합 현실 UI 레이아웃 사용 사례에서 기본선 대비 AutoOptimization의 효과를 입증했습니다.