[論文レビュー] Automating UI Optimization through Multi-Agentic Reasoning

Zhipeng Li, Christoph Gebhardt+2 more|arXiv (Cornell University)|Feb 13, 2026

Interactive and Immersive Displays被引用数 0

ひとこと要約

AutoOptimization は、逐次のビジョン言語モデルエージェントを用いて、混合/拡張現実設定における口頭のユーザー指示に基づき、マルチオブジェクティブな UI レイアウトを自動的に構成、最適化、検証するフレームワークです。

ABSTRACT

We present AutoOptimization, a novel multi-objective optimization framework for adapting user interfaces. From a user's verbal preferences for changing a UI, our framework guides a prioritization-based Pareto frontier search over candidate layouts. It selects suitable objective functions for UI placement while simultaneously parameterizing them according to the user's instructions to define the optimization problem. A solver then generates a series of optimal UI layouts, which our framework validates against the user's instructions to adapt the UI with the final solution. Our approach thus overcomes the previous need for manual inspection of layouts and the use of population averages for objective parameters. We integrate multiple agents sequentially within our framework, enabling the system to leverage their reasoning capabilities to interpret user preferences, configure the optimization problem, and validate optimization outcomes.

研究の動機と目的

• ユーザー指示から最終レイアウトまでのエンドツーエンドの UI 適応ワークフローを自動化する。
• UI 配置のマルチオブジェクティブ最適化の動的・ユーザー特化のカスタマイズを可能にする。
• UI 最適化における手動設定と人口平均パラメータへの依存を低減する。
• 指示を解釈し、最適化を構成し、結果を検証するためにビジョン言語モデルエージェントを活用する。

提案手法

• Vision-Language Model (VLM) と最適化モジュールを統合した逐次型の AutoOptimization フレームワークを導入する。
• 最適化前にユーザー指示のあいまいさを明確化するための曖昧性検出を使用する。
• ダイナミックに構成されたマルチオブジェクティブ最適化問題へユーザー指示を翻訳し、選択可能な目的とパラメータを設定する。
• 最適化ソルバーを通じて Pareto 前方の候補レイアウトを生成する。
• VLM を用いて Pareto 候補とユーザーの元の指示を比較し、最終レイアウトを検証・選択する。
• 将来の指示と出力を洗練させるために、時間をかけてユーザーの嗜好を集約する。

実験結果

リサーチクエスチョン

• RQ1 VLM ベースのエージェントは、口頭指示から UI 最適化の曖昧さ検出と問題設定を自動化できるか。
• RQ2 MR/MR 設定で、ソルバーはユーザー指示と一致する Pareto 最適な UI レイアウトをどれだけ効果的に生成できるか。
• RQ3 VLM ベースの検証エージェントは Pareto 最適設計の中から、ユーザー意図に最も合致する最終レイアウトを正確に選択できるか。
• RQ4 時間をかけてユーザーの嗜好を集約することで、最適化レイアウトとユーザーのニーズの整合性は向上するか。

主な発見

• MR 指示の Leave-One-User-Out および Leave-One-Scenario-Out のクロスバリデーションで、曖昧性検出の精度は約 91% および 93% を達成。
• Pareto 最適候補からのレイアウト選択は、研究参加者の選択と整合（26 名の参加者、26 の VLM インスタンス、72 の候補、18 のシナリオ）。
• エンドツーエンド評価では、AutoOptimization レイアウトがユーザーの嗜好とより近く一致し、調整が少なくて済む一方、ベースラインと同等のユーザー満足度を維持しつつ労力を削減。
• 混合現実 UI レイアウトのユースケースにおいて、AutoOptimization がベースライン手法より有効であることを実証。