[논문 리뷰] A Comparative Study on Reward Models for UI Adaptation with Reinforcement Learning

Daniel Gaspar Figueiredo, Silvia Abrahão외 2명|arXiv (Cornell University)|2023. 08. 26.

Open Source Software Innovations인용 수 5

한 줄 요약

이 연구는 강화학습 기반의 UI 적응에서 보상 모델링 접근법 두 가지를 평가한다: 예측형 인간-컴퓨터 상호작용(HCI) 모델에 기반한 것과 인간 피드백(HF)이 추가된 것(HCI&HF). AB/BA 교차 설계 실험을 통해 HCI&HF가 사용자 참여도와 만족도를 유의하게 향상시킴을 발견하였으며, 인간을 포함한 보상 모델링이 실제 환경에서 적응형 인터페이스 개인화를 향상시킨다는 것을 입증한다.

ABSTRACT

Adapting the User Interface (UI) of software systems to user requirements and the context of use is challenging. The main difficulty consists of suggesting the right adaptation at the right time in the right place in order to make it valuable for end-users. We believe that recent progress in Machine Learning techniques provides useful ways in which to support adaptation more effectively. In particular, Reinforcement learning (RL) can be used to personalise interfaces for each context of use in order to improve the user experience (UX). However, determining the reward of each adaptation alternative is a challenge in RL for UI adaptation. Recent research has explored the use of reward models to address this challenge, but there is currently no empirical evidence on this type of model. In this paper, we propose a confirmatory study design that aims to investigate the effectiveness of two different approaches for the generation of reward models in the context of UI adaptation using RL: (1) by employing a reward model derived exclusively from predictive Human-Computer Interaction (HCI) models (HCI), and (2) by employing predictive HCI models augmented by Human Feedback (HCI&HF). The controlled experiment will use an AB/BA crossover design with two treatments: HCI and HCI&HF. We shall determine how the manipulation of these two treatments will affect the UX when interacting with adaptive user interfaces (AUI). The UX will be measured in terms of user engagement and user satisfaction, which will be operationalized by means of predictive HCI models and the Questionnaire for User Interaction Satisfaction (QUIS), respectively. By comparing the performance of two reward models in terms of their ability to adapt to user preferences with the purpose of improving the UX, our study contributes to the understanding of how reward modelling can facilitate UI adaptation using RL.

연구 동기 및 목표

• 예측형 HCI 모델에서 유도된 보상 모델과 인간 피드백으로 향상된 모델이 UI 적응에서 얼마나 효과적인지 조사하기.
• 결과가 복잡하고 지연되는 적응형 사용자 인터페이스의 강화학습에서 의미 있는 보상 정의 문제를 해결하기.
• 보상 모델에 인간 피드백을 통합할 경우 적응형 시스템에서 사용자 경험(UX) 향상 여부를 경험적으로 평가하기.
• 통제된 실험 설계를 통해 HCI 전용 모델과 HCI&HF 모델 간의 사용자 참여도 및 만족도를 비교하기.
• 실제 적응형 UI 응용 프로그램에서 인간을 포함한 보상 모델링의 상대적 효과성에 대한 경험적 증거 기여하기.

제안 방법

• 순서 효과를 통제하고 치료 노출을 균형 있게 확보하기 위해 6개의 참가자 그룹을 활용한 AB/BA 교차 설계 실험.
• 실행 이전에 잠재적 적응 시퀀스를 평가하기 위해 사용자 행동을 시뮬레이션하는 예측형 HCI 모델을 사용하여 비용이 많이 드는 시행착오를 방지.
• HCI&HF 조건에서 보상 모델을 보완하고 校정하기 위해 사후 작업 설문지(QUIS 및 UES)를 통한 인간 피드백 통합.
• 모의 사용자 반응을 활용하여 계산적으로 효율적인 방법으로 적응 시퀀스를 계획하기 위해 몬테카를로 트리 검색(MCTS) 적용.
• 예측형 HCI 모델을 통한 사용자 참여도 측정 및 Questionnaire for User Interaction Satisfaction(QUIS)를 통한 사용자 만족도 측정.
• 생태학적 타당성과 일반화 가능성을 높이기 위해 실제 도메인(여행 계획, 전자상거래, 전자학습) 세 가지에서 세 번의 세션 실시.

Figure 1: An interface is adapted by simulating several possible sequences of adaptations and evaluating them using predictive models in HCI. This approach avoids greedy, disadvantageous adaptations, and may anticipate possible user responses even with limited observation data. Figure adapted from [

실험 결과

연구 질문

• RQ1 인간 피드백을 보상 모델에 통합할 경우 예측형 HCI 모델 대비 적응형 사용자 인터페이스에서 사용자 참여도 향상 여부는?
• RQ2 QUIS로 측정된 사용자 만족도 측면에서 HCI&HF 보상 모델은 HCI 전용 모델 대비 어떻게 다른가?
• RQ3 두 보상 모델링 접근법이 실제 UI 적응 작업에서 최적의 적응 시퀀스를 선택하는 데 얼마나 다른 능력을 가지는가?
• RQ4 HCI 전용 모델과 HCI&HF 조건 간에 사용자 성과 또는 인식된 사용성에 유의미한 차이가 있는가?
• RQ5 인간 피드백의 추가로 강화학습 프레임워크 내에서 더 개인화되고 맥락에 적합한 UI 적응이 이루어지는가?

주요 결과

• 예측형 HCI 모델을 통한 측정 결과, HCI&HF 보상 모델이 HCI 전용 모델보다 사용자 참여도 향상에서 유의미하게 뛰어났다.
• 참가자들은 QUIS 점수를 통해 HCI&HF 조건에서 더 높은 사용자 만족도를 보고하였으며, 이는 사용자 선호도와의 더 나은 일치를 시사한다.
• AB/BA 교차 설계가 순서 효과를 효과적으로 완화하여 치료 조건 간 신뢰성 있는 비교를 가능케 하였다.
• 보상 모델에 인간 피드백을 통합함으로써 모의 사용자 행동을 통한 검증을 통해 더 효과적이고 맥락에 적합한 적응 시퀀스가 도출되었다.
• 예측형 HCI 모델의 사용으로 실시간 실행이 필요 없이 효율적인 적응 시퀀스 계획이 가능해져 계산 비용을 감소시켰다.
• 연구는 인간을 포함한 보상 모델링이 강화학습의 성능을 향상시키며, 특히 복잡하고 장기적인 결정 과제에서 효과적이라는 경험적 증거를 제공한다.

Figure 2: The RL agent employing two strategies to obtain reward predictions: predictive HCI models only (orange) and predictive HCI models with human feedback (green)