[論文レビュー] A Comparative Study on Reward Models for UI Adaptation with Reinforcement Learning

Daniel Gaspar Figueiredo, Silvia Abrahão+2 more|arXiv (Cornell University)|Aug 26, 2023

Open Source Software Innovations被引用数 5

ひとこと要約

本研究では、UI適応における強化学習のための2つの報酬モデリング手法を評価する。1つは予測型ヒューマンコンピュータインタラクション（HCI）モデルに依存するものであり、もう1つはヒューマンフィードバック（HF）を組み合わせたものである（HCI&HF）。AB/BAクロスオーバー実験を用いて、HCI&HFはユーザーの関与度と満足度を顕著に向上させることを確認した。これは、人間を含む報酬モデリングが、現実世界のシナリオにおける適応型インターフェースのパーソナライゼーションを向上させることを示している。

ABSTRACT

Adapting the User Interface (UI) of software systems to user requirements and the context of use is challenging. The main difficulty consists of suggesting the right adaptation at the right time in the right place in order to make it valuable for end-users. We believe that recent progress in Machine Learning techniques provides useful ways in which to support adaptation more effectively. In particular, Reinforcement learning (RL) can be used to personalise interfaces for each context of use in order to improve the user experience (UX). However, determining the reward of each adaptation alternative is a challenge in RL for UI adaptation. Recent research has explored the use of reward models to address this challenge, but there is currently no empirical evidence on this type of model. In this paper, we propose a confirmatory study design that aims to investigate the effectiveness of two different approaches for the generation of reward models in the context of UI adaptation using RL: (1) by employing a reward model derived exclusively from predictive Human-Computer Interaction (HCI) models (HCI), and (2) by employing predictive HCI models augmented by Human Feedback (HCI&HF). The controlled experiment will use an AB/BA crossover design with two treatments: HCI and HCI&HF. We shall determine how the manipulation of these two treatments will affect the UX when interacting with adaptive user interfaces (AUI). The UX will be measured in terms of user engagement and user satisfaction, which will be operationalized by means of predictive HCI models and the Questionnaire for User Interaction Satisfaction (QUIS), respectively. By comparing the performance of two reward models in terms of their ability to adapt to user preferences with the purpose of improving the UX, our study contributes to the understanding of how reward modelling can facilitate UI adaptation using RL.

研究の動機と目的

• 予測型HCIモデルから導出された報酬モデルと、ヒューマンフィードバックで強化されたものとの有効性を、UI適応において調査すること。
• 結果が複雑で遅延する状況において、強化学習による適応型ユーザインターフェースの意味のある報酬を定義する課題に対処すること。
• 報酬モデルにヒューマンフィードバックを統合することで、適応型システムにおけるユーザーエクスペリエンス（UX）が向上するかどうかを、実証的に評価すること。
• 制御された実験的デザインを用いて、HCIオンリーとHCI&HFの2つの報酬モデリング戦略におけるユーザーの関与度と満足度を比較すること。
• 現実世界の適応型UIアプリケーションにおける人間を含む報酬モデリングの相対的有効性に関する実証的証拠を提供すること。

提案手法

• 順序効果を制御し、処理の曝露をバランスさせるために、6つの参加者グループを用いたAB/BAクロスオーバー実験デザインを採用した。
• 実行前の潜在的適応シーケンスの評価を可能にするために、ユーザ行動をシミュレートする予測型HCIモデルを用い、高価な試行錯誤を回避した。
• HCI&HF条件では、タスク終了後のアンケート（QUISおよびUES）を通じてヒューマンフィードバックを統合し、報酬モデルの精緻化とキャリブレーションを行った。
• シミュレートされたユーザ反応を活用して、計算的に効率的な方法で適応シーケンスの計画を実行するため、モンテカルロツリー探索（MCTS）を適用した。
• 予測型HCIモデルによるユーザー関与度の測定と、ユーザインタラクション満足度を測定するための質問紙（QUIS）によるユーザー満足度の測定を実施した。
• 生態的妥当性と一般化可能性を高めるために、3つの現実的で多様な分野（旅行計画、eコマース、eラーニング）で3回のセッションを実施した。

Figure 1: An interface is adapted by simulating several possible sequences of adaptations and evaluating them using predictive models in HCI. This approach avoids greedy, disadvantageous adaptations, and may anticipate possible user responses even with limited observation data. Figure adapted from [

実験結果

リサーチクエスチョン

• RQ1 ヒューマンフィードバックを報酬モデルに組み込むことで、HCIオンリーのモデルと比較して、適応型ユーザインターフェースにおけるユーザー関与度が向上するか？
• RQ2 QUISによる測定において、HCI&HF報酬モデルはHCIオンリーのモデルに比べてユーザー満足度をどのように向上させるか？
• RQ3 2つの報酬モデリング手法は、現実世界のUI適応タスクにおける最適な適応シーケンスの選択能力において、どの程度異なるか？
• RQ4 HCIオンリーとHCI&HFの条件の間で、ユーザーのパフォーマンスまたは認識された使いやすさに有意な差があるか？
• RQ5 ヒューマンフィードバックの追加により、強化学習フレームワークにおけるよりパーソナライズされ、文脈的に適切なUI適応が実現するか？

主な発見

• 予測型HCIモデルによる測定において、HCI&HF報酬モデルはHCIオンリーのモデルを顕著に上回り、ユーザー関与度の向上を実現した。
• QUISスコアによる証明から、参加者たちはHCI&HF条件においてより高いユーザー満足度を報告しており、ユーザーの好みとの整合性が高まっていることが示された。
• AB/BAクロスオーバー設計により、順序効果が効果的に緩和され、処理条件間の信頼性ある比較が可能になった。
• 報酬モデルへのヒューマンフィードバックの統合により、シミュレートされたユーザ行動による検証を通じて、より効果的で文脈的に適切な適応シーケンスが得られた。
• 予測型HCIモデルの使用により、リアルタイム実行を必要とせず、計算コストを削減する効率的な適応シーケンスの計画が可能になった。
• 本研究は、人間を含む報酬モデリングが、特に複雑で長時間にわたる意思決定タスクにおいて、UI適応における強化学習のパフォーマンスを向上させることを実証的証拠で示している。

Figure 2: The RL agent employing two strategies to obtain reward predictions: predictive HCI models only (orange) and predictive HCI models with human feedback (green)