[論文レビュー] The Challenge of Understanding What Users Want: Inconsistent Preferences and Engagement Optimization

Jon Kleinberg, Sendhil Mullainathan+1 more|arXiv (Cornell University)|Feb 23, 2022

Digital Marketing and Social Media被引用数 9

ひとこと要約

この論文は、ユーザーのエンゲージメントがユーザーの好みを信頼できる指標として反映すると仮定する見解に挑戦し、時間的不整合な好みがエンゲージメントと実際のユーザーの効用の乖離を引き起こす形式的モデルを提案する。エンゲージメントを最適化することは、コンテンツ多様体の構造に応じてユーザーの福祉を低下させる可能性があり、行動心理学とアルゴリズム最適化を統合することで、プラットフォーム設計をユーザーの幸福に一致させるフレームワークを提供する。

ABSTRACT

Online platforms have a wealth of data, run countless experiments and use industrial-scale algorithms to optimize user experience. Despite this, many users seem to regret the time they spend on these platforms. One possible explanation is misaligned incentives: platforms are not optimizing for user happiness. We suggest the problem runs deeper, transcending the specific incentives of any particular platform, and instead stems from a mistaken foundational assumption: To understand what users want, platforms look at what users do. Yet research has demonstrated, and personal experience affirms, that we often make choices in the moment that are inconsistent with what we actually want. In this work, we develop a model of media consumption where users have inconsistent preferences. We consider a platform which simply wants to maximize user utility, but only observes user engagement. We show how our model of users' preference inconsistencies produces phenomena that are familiar from everyday experience, but difficult to capture in traditional user interaction models. A key ingredient in our model is a formulation for how platforms determine what to show users: they optimize over a large set of potential content (the content manifold) parametrized by underlying features of the content. Whether improving engagement improves user welfare depends on the direction of movement in the content manifold: for certain directions of change, increasing engagement makes users less happy, while in other directions, increasing engagement makes users happier. We characterize the structure of content manifolds for which increasing engagement fails to increase user utility. By linking these effects to abstractions of platform design choices, our model thus creates a theoretical framework and vocabulary in which to explore interactions between design, behavioral science, and social media.

研究の動機と目的

• オンラインプラットフォームにおける高いユーザーのエンゲージメントと低い満足度の間の乖離が拡大するのを是正すること。
• ユーザー行動（例：クリック、滞在時間）が真の好みを明らかにするという、ユーザーモデリングの基礎的仮定に挑戦すること。
• 時間的不整合な好み（例：現在のバイアス、衝動的な選択）を考慮した、ユーザー行動の形式的モデルの構築。
• エンゲージメントを最適化しても、プラットフォームがユーザーの幸福を最大化しようとしている場合でさえ、ユーザー効用が向上しない条件を特定すること。
• より倫理的かつ効果的な最適化のため、プラットフォーム設計、コンテンツ多様体の構造、行動科学を結びつける理論的フレームワークの提供。

提案手法

• 短視眼的で衝動的な「システム1」と、熟考的で長期的な「システム2」の二重自己モデルを導入する。
• コンテンツを特徴量でパラメータ化された連続的「コンテンツ多様体」としてモデル化し、プラットフォームの意思決定をこの多様体上の移動として表現する。
• ユーザー効用をエンゲージメントのみではなくコンテンツの軌道に依存する関数として定義し、エンゲージメントが増加する一方で効用が減少する条件を導出する。
• 数学的特徴付けを用いて、エンゲージメント最適化がユーザーに害を及げる「悪い方向」を同定する。
• 行動データに加えて、明示的なユーザー満足度調査などの補足データを活用することで、好みの不一致を是正すべきであると提言する。
• 実世界の現象（長時間のエンゲージメント後の突然のユーザー離脱、長時間のセッションにもかかわらず低効用）を分析するためにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 なぜユーザーは長時間のセッション後、高いエンゲージメントにもかかわらず後悔を報告することが多いのか？
• RQ2 どのような条件下でユーザーのエンゲージメントを増加させても、ユーザー効用が低下するのか？
• RQ3 コンテンツ多様体の幾何的構造は、エンゲージメントとユーザーの福祉の整合性にどのように影響するのか？
• RQ4 プラットフォームはどのような設計戦略とデータ統合手法を用いることで、エンゲージメント最適化を実際のユーザーの幸福と一致させられるか？
• RQ5 時間的不整合な好みは、オンラインプラットフォームにおける顕在的好みモデルの妥当性をどのように損なうのか？

主な発見

• プラットフォームの変更がコンテンツ多様体上の「悪い方向」にコンテンツを移動させると、エンゲージメントが増加してもユーザー効用が低下する可能性がある。
• ユーザーは好みの不一致のため、低効用のまま長時間のセッションを示すことがある。これは、衝動的行動（システム1）が長期的好み（システム2）を上回るためである。
• 安定したエンゲージメントの増加に続いて突然のユーザー離脱が発生する現象は、好みの不一致によって説明できる。ユーザーは当初無意識的に消費していたコンテンツを、最終的に拒否するようになる。
• エンゲージメントと効用の整合性は、エンゲージメントの水準そのものではなく、コンテンツ多様体内でのコンテンツ変更の方向性に依存する。
• コンテンツ多様体にエンゲージメントと効用が負の相関関係を示す領域が存在する場合、エンゲージメントのみを最適化するプラットフォームはユーザーに害を及けるリスクを有する。
• エンゲージメントと効用が乖離する場合、行動データに内在するバイアスを是正するため、明示的なユーザー福祉測定（例：アンケート）が不可欠である。