[논문 리뷰] Rationally Inattentive Inverse Reinforcement Learning Explains YouTube Commenting Behavior

William Hoiles, Vikram Krishnamurthy외 1명|arXiv (Cornell University)|2019. 10. 24.

Advanced Bandit Algorithms Research인용 수 11

한 줄 요약

이 논문은 깊이 있는 임bedded 클러스터링을 통합하여 사용자 그룹을 식별하고, 베이지안 노출 선호를 통해 효용 최적화를 테스트하며, 레니 지수 상호정보량 제약 조건을 통해 주의력 제한을 모델링함으로써, YouTube 댓글 행동을 모델링하고 예측하기 위한 합리적 주의력이 없는 역강화학습 프레임워크를 제안한다. 주요 발견은 대부분의 사용자 그룹이 합리적 주의력이 있는 베이지안 효용 최적화와 일관된 행동을 보이며, 이는 댓글 패턴을 정확하게 예측할 수 있음을 시사한다.

ABSTRACT

We consider a novel application of inverse reinforcement learning with behavioral economics constraints to model, learn and predict the commenting behavior of YouTube viewers. Each group of users is modeled as a rationally inattentive Bayesian agent which solves a contextual bandit problem. Our methodology integrates three key components. First, to identify distinct commenting patterns, we use deep embedded clustering to estimate framing information (essential extrinsic features) that clusters users into distinct groups.Second, we present an inverse reinforcement learning algorithm that uses Bayesian revealed preferences to test for rationality: does there exist a utility function that rationalizes the given data, and if yes, can it be used to predict commenting behavior? Finally, we impose behavioral economics constraints stemming from rational inattention to characterize the attention span of groups of users. The test imposes a R{\\'e}nyi mutual information cost constraint which impacts how the agent can select attention strategies to maximize their expected utility. After a careful analysis of a massive YouTube dataset, our surprising result is that in most YouTube user groups, the commenting behavior is consistent with optimizing a Bayesian utility with rationally inattentive constraints. The paper also highlights how the rational inattention model can accurately predict commenting behavior. The massive YouTube dataset and analysis used in this paper are available on GitHub and completely reproducible.

연구 동기 및 목표

• 정보 제약 조건 하에서 효용을 최적화하는 합리적 주의력이 없는 베이지안 에이전트로 YouTube 시청자의 댓글 행동을 모델링하기.
• 거대한 YouTube 데이터셋에 대한 깊이 있는 임bedded 클러스터링을 통해 별개의 사용자 댓글 패턴을 식별하기.
• 관찰된 댓글 행동이 합리적 주의력 제약 조건 하에서 효용 함수에 의해 설명될 수 있는지 테스트하기.
• 행동경제학을 역강화학습과 융합하여 댓글 행동의 예측 모델을 개발하기.
• 공개된 GitHub 릴리스를 통해 데이터셋과 분석을 완전히 재현 가능하게 만들기.

제안 방법

• 딥 임베디드 클러스터링을 사용하여 YouTube 동영상을 겹치지 않는 세그먼트로 분할하고, 시청 및 댓글 패턴에 기반한 사용자 그룹을 정의한다.
• 합리적 주의력 하에서 관찰된 사용자 행동을 합리화할 수 있는 효용 함수의 존재 여부를 테스트하기 위해 베이지안 노출 선호를 적용한다.
• 제한된 주의력 지속 시간을 모델링하기 위해 레니 지수 상호정보량 비용 제약 조건을 도입하여, 댓글 행동을 제약 조건이 있는 컨텍스트 밴딧 문제로 프레임화한다.
• 관찰된 행동 선택 정책 πk(a|x)와 사후 상태 분포로부터 에이전트의 주의 함수 αk(s|x)와 선택 함수 ηk(a|s)를 추정한다.
• 관찰된 사후 분포 pk(x|a)를 사용하여 신호 집합을 추론하고, 진짜 주의 함수를 알지 못하더라도 주의 및 선택 함수의 일관된 추정치를 구성한다.
• 아프리아트 유형 조건을 기반으로 한 테스트를 활용하여 합리적 주의력의 일관성을 검증하며, 경계된 합리성과 정보 비용 제약 조건과의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 사용자 그룹 간의 YouTube 댓글 행동은 합리적 주의력 제약 조건 하에서 베이지안 효용 함수에 의해 설명될 수 있는가?
• RQ2 레니 지수 상호정보량 제약 조건은 YouTube 시청자의 주의력 제한을 얼마나 정확하게 모델링하는가?
• RQ3 합리적 주의력이 있는 역강화학습 모델은 다른 모델 대비 실제 댓글 행동을 얼마나 잘 예측하는가?
• RQ4 다양한 동영상 카테고리와 시청자 수 수준에서 사용자 참여도(댓글 수 및 평점)에 일관된 패턴이 존재하는가?
• RQ5 딥 임베디드 클러스터링은 대규모 YouTube 데이터에서 댓글 행동에 기반한 의미 있는 사용자 그룹을 효과적으로 식별할 수 있는가?

주요 결과

• 대부분의 YouTube 사용자 그룹에서 댓글 행동은 합리적 주의력 제약 조건 하에서 베이지안 효용 함수를 최적화하는 것과 일관되며, 이는 사용자 의사결정에서 경계된 합리성의 존재를 시사한다.
• 합리적 주의력 모델은 댓글 행동을 정확하게 예측하여 다양한 동영상 카테고리와 시청자 수 수준에서 강력한 예측 능력을 보였다.
• 게임 및 비게임 동영상 카테고리의 사용자 그룹은 서로 다른 주의력 및 참여 패턴을 보이며, 평균 상호작용 사용자 수는 각 하위카테고리당 8명에서 4596명까지 다양하다.
• 관찰된 주의 함수 αk(s|x)는 진짜 주의 함수 ρk(r|x)보다 노이즈가 많고 약간 덜 정보적인 것으로 확인되어, 부분적 관측성에 대한 모델의 강건성을 확인한다.
• 프레임워크는 80%의 사용자 그룹에서 효용 최적화 행동을 성공적으로 식별하였으며, 정보 제약 조건 하에서 베이지안 노출 선호 테스트의 타당성을 검증하였다.
• 전체 YouTube 데이터셋과 분석 파이프라인은 GitHub에 공개되어 있어 결과의 완전한 재현 가능성이 보장된다.