[논문 리뷰] The Challenge of Understanding What Users Want: Inconsistent Preferences and Engagement Optimization

Jon Kleinberg, Sendhil Mullainathan외 1명|arXiv (Cornell University)|2022. 02. 23.

Digital Marketing and Social Media인용 수 9

한 줄 요약

이 논문은 사용자 참여도가 사용자 선호도를 신뢰할 수 있게 반영한다는 가정에 도전하며, 시간에 따라 일관되지 않은 선호도가 참여도가 실제 사용자 유틸리티와 다를 수 있음을 보여주는 형식적 모델을 제안한다. 참여도 최적화가 콘텐츠 다각체의 구조에 따라 사용자 복지에 악영향을 줄 수 있음을 보이며, 행동 심리학과 알고리즘 최적화를 융합하여 플랫폼 설계를 사용자 복지와 일치시키는 프레임워크를 제공한다.

ABSTRACT

Online platforms have a wealth of data, run countless experiments and use industrial-scale algorithms to optimize user experience. Despite this, many users seem to regret the time they spend on these platforms. One possible explanation is misaligned incentives: platforms are not optimizing for user happiness. We suggest the problem runs deeper, transcending the specific incentives of any particular platform, and instead stems from a mistaken foundational assumption: To understand what users want, platforms look at what users do. Yet research has demonstrated, and personal experience affirms, that we often make choices in the moment that are inconsistent with what we actually want. In this work, we develop a model of media consumption where users have inconsistent preferences. We consider a platform which simply wants to maximize user utility, but only observes user engagement. We show how our model of users' preference inconsistencies produces phenomena that are familiar from everyday experience, but difficult to capture in traditional user interaction models. A key ingredient in our model is a formulation for how platforms determine what to show users: they optimize over a large set of potential content (the content manifold) parametrized by underlying features of the content. Whether improving engagement improves user welfare depends on the direction of movement in the content manifold: for certain directions of change, increasing engagement makes users less happy, while in other directions, increasing engagement makes users happier. We characterize the structure of content manifolds for which increasing engagement fails to increase user utility. By linking these effects to abstractions of platform design choices, our model thus creates a theoretical framework and vocabulary in which to explore interactions between design, behavioral science, and social media.

연구 동기 및 목표

• 온라인 플랫폼에서 높은 사용자 참여도와 낮은 사용자 만족도 사이의 갈등이 점점 커지는 데 대응하기 위해.
• 사용자 모델링의 기초가 되는 가정, 즉 관찰된 행동(예: 클릭, 체류 시간)이 진정한 선호도를 드러낸다는 가정을 도전하기 위해.
• 시간에 따라 일관되지 않은 선호도, 예를 들어 현재 편향과 충동적인 선택을 고려한 사용자 행동의 형식적 모델을 개발하기 위해.
• 참여도 최적화가 사용자 기쁨을 극대화하고자 하는 플랫폼이라도 사용자 유틸리티 향상에 실패할 수 있는 조건을 규명하기 위해.
• 플랫폼 설계, 콘텐츠 다각체의 구조, 행동 과학을 연결하는 이론적 프레임워크를 제공하여 더 윤리적이고 효과적인 최적화를 위해.

제안 방법

• 단일 자기 모델을 사용자 선호도에 적용: 단기적이고 충동적인 '시스템 1'과 반성적이고 장기적인 '시스템 2' 자기.
• 콘텐츠를 특성으로 매개변수화된 연속적인 '콘텐츠 다각체'로 모델링하며, 플랫폼의 결정은 이 다각체를 따라 움직임을 의미한다.
• 사용자 유틸리티를 참여도가 아닌 콘텐츠 궤적의 함수로 정의하고, 참여도는 증가하지만 유틸리티는 감소하는 조건을 유도한다.
• 수학적 특성 분석을 통해 참여도 최적화가 사용자에게 해를 끼치는 '나쁜 방향'을 식별한다.
• 선호도의 일관성 부족을 보완하기 위해 행동 데이터 외에 보조 데이터(예: 명시적 사용자 만족도 설문)를 활용할 것을 제안한다.
• 실제 현상인 장기간의 참여에도 불구하고 갑작스럽게 사용자가 이탈하는 현상과 높은 세션 시간에도 불구하고 낮은 유틸리티를 경험하는 현상을 분석하기 위해 모델을 적용한다.

실험 결과

연구 질문

• RQ1 장시간 플랫폼에 머무르는 사용자들이 높은 참여도를 보이지만 왜 종종 후회를 느끼는가?
• RQ2 언제 참여도를 높이는 것이 사용자 유틸리티를 감소시킬 수 있는가?
• RQ3 콘텐츠 다각체의 기하학적 구조는 참여도와 사용자 복지 간의 일치에 어떤 영향을 미치는가?
• RQ4 플랫폼은 어떤 설계 및 데이터 통합 전략을 통해 참여도 최적화를 실제 사용자 복지와 더 잘 일치시킬 수 있는가?
• RQ5 시간에 따라 일관되지 않은 선호도가 온라인 플랫폼에서 드러난 선호도 모델의 타당성을 어떻게 약화시키는가?

주요 결과

• 플랫폼의 변화가 콘텐츠 다각체의 '나쁜 방향'을 따라 콘텐츠를 이동시킬 경우, 참여도는 증가하지만 사용자 유틸리티는 감소할 수 있다.
• 사용자는 선호도의 일관성 부족으로 인해 장시간 세션을 유지하면서도 낮은 유틸리티를 경험할 수 있다. 이는 충동적인 행동(시스템 1)이 장기적 선호도(시스템 2)를 압도하기 때문이다.
• 지속적인 참여 증가 후 갑작스러운 사용자 이탈은 선호도의 일관성 부족을 설명하며, 사용자가 이전에 무의식적으로 소비한 콘텐츠를 결국 거부하게 되는 경우를 암시한다.
• 참여도와 유틸리티의 일치는 참여도 수준 자체가 아니라 콘텐츠 다각체 내에서의 콘텐츠 변화 방향에 따라 달라진다.
• 콘텐츠 다각체에 참여도와 유틸리티가 음의 상관관계를 가지는 영역이 존재할 경우, 참여도 최적화에만 집중하는 플랫폼은 사용자에게 해를 끼칠 위험이 있다.
• 참여도와 유틸리티가 다를 경우, 행동 데이터의 편향을 보완하기 위해 명시적 사용자 복지 측정(예: 설문 조사)이 필요하다.