[논문 리뷰] Discovering Context Effects from Raw Choice Data

Arjun Seshadri, Alexander Peysakhovich외 1명|arXiv (Cornell University)|2019. 02. 08.

Economic and Environmental Valuation인용 수 11

한 줄 요약

이 논문은 다항 로짓(MNL) 모델의 확장인 맥락 의존적 랜덤 유용성 모델(CDM)을 제안한다. 이 모델은 쌍별 항목 상호작용을 모델링하여 선택 집합 효과를 포착한다. 최대우도 추정을 통한 최적의 추론, IIA 위반의 해석 가능한 탐지, ℓ₂ 정규화를 통한 강건한 성능을 가능하게 하며, 합성 및 실세계 데이터셋에서의 강력한 실험적 검증을 통해 맥락 효과가 존재할 경우 CDM가 MNL보다 유의미하게 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Many applications in preference learning assume that decisions come from the maximization of a stable utility function. Yet a large experimental literature shows that individual choices and judgements can be affected by "irrelevant" aspects of the context in which they are made. An important class of such contexts is the composition of the choice set. In this work, our goal is to discover such choice set effects from raw choice data. We introduce an extension of the Multinomial Logit (MNL) model, called the context dependent random utility model (CDM), which allows for a particular class of choice set effects. We show that the CDM can be thought of as a second-order approximation to a general choice system, can be inferred optimally using maximum likelihood and, importantly, is easily interpretable. We apply the CDM to both real and simulated choice data to perform principled exploratory analyses for the presence of choice set effects.

연구 동기 및 목표

• 표준 랜덤 유용성 모델이 독립된 불필요한 선택의 원리(IIA)를 가정하는 한계를 해결하기 위해, 이는 종종 실제 선택 행동에서 실패한다.
• 과도한 매개변수화 없이도 의미 있는 맥락 효과—특히 선택 집합 내 쌍별 상호작용—을 포착하는 모델을 개발하기 위해.
• 포함된 모델 가설 검정을 통해 원칙적이고 통계적으로 타당한 IIA 위반 탐지를 가능하게 하기 위해.
• 특히 희소하거나 균형 잡히지 않은 데이터 설정에서 모델의 식별성과 안정적인 추론을 보장하기 위해 ℓ₂ 정규화를 활용하기 위해.
• 완전한 쌍별 비교가 비용이 많이 들기 때문에 큰 아이템 집합에서 효율적으로 작동하는 저랭크 변형 CDM를 제공하기 위해.

제안 방법

• MNL 모델을 확장하여 쌍별 상호작용 행렬 U를 도입하며, 여기서 u_xy는 항목 y가 항목 x의 선택 확률에 미치는 영향을 측정한다.
• 선택 확률을 항목 유용성에 쌍별 맥락 효과를 조정한 함수로 모델링한다: P(x|S) ∝ exp(∑_{y∈S\{x}} u_xy).
• 원시 선택 데이터로부터 U 행렬을 최대우도 추정을 통해 학습하며, ℓ₂ 정규화를 통해 식별성을 보장한다.
• CDM과 MNL 모델을 비교하기 위해 포함된 우도 비율 검정을 사용하여, 주어진 데이터셋에서 IIA가 성립하는지 검증한다.
• 특이값 분해를 통해 U의 저랭크 근사를 사용하여 매개변수를 감소시키고 확장성을 향상시킨다.
• 비교 그래프의 구조와 표본 크기의 관점에서 추정 오차의 유한 표본 수렴 보장을 유도한다.

실험 결과

연구 질문

• RQ1 원칙적이고 해석 가능한 모델은 IIA를 가정하지 않고도 원시 선택 데이터에서 맥락 효과를 탐지할 수 있는가?
• RQ2 유한 표본에서 CDM는 표준 모델에 비해 IIA 위반을 얼마나 잘 탐지할 수 있는가?
• RQ3 희소하거나 균형 잡히지 않은 데이터일 경우 ℓ₂ 정규화는 모델의 식별성을 확보하는 데 어떤 역할을 하는가?
• RQ4 CDM은 삼중 비교 작업과 같은 복잡한 선택 행동을 효과적으로 모델링할 수 있는가?
• RQ5 많은 수의 아이템과 제한된 비교가 존재하는 대규모 설정에서 저랭크 CDM는 어떻게 성능을 발휘하는가?

주요 결과

• IIA가 성립할 경우, CDM와 MNL 간의 포함된 우도 비율 검정은 유의적으로 IIA를 기각하지 않으며, 표본 수가 유한할 경우 유의수준 오차율이 약 5%에 가까운 것으로 나타났다.
• IIA가 위반될 경우, CDM 기반 검정은 중간 크기의 데이터셋에서도 근본가설을 압도적으로 기각하며, 높은 통계적 검정력을 보였다.
• 반면 일반 선택 체계 기반의 포함된 검정과 MNL을 사용한 경우, IIA가 진짜로 성립할 때조차 근본가설을 과도하게 기각하는 경향을 보였으며, 이는 CDM의 뛰어난 추론 신뢰성을 입증한다.
• IIA를 만족하는 데이터에 대해서는 CDM가 MNL만큼 잘 맞추며, 맥락 효과가 존재할 경우 의미 있는 맥락 효과를 포착함으로써 모델의 유연성을 입증했다.
• ℓ₂ 정규화는 쌍별 비교 설정에서 모델이 일반적으로 과소정의되므로, CDM의 식별성을 보장하는 데 유일하게 기여한다.
• 저랭크 CDM는 큰 아이템 집합의 스케일러블한 모델링을 가능하게 하며, 전체 랭크 모델 대비 훨씬 적은 매개변수로 뛰어난 성능을 유지한다.