[논문 리뷰] Shopping in the Multiverse: A Counterfactual Approach to In-Session Attribution

Jacopo Tagliabue, Bingqing Yu|arXiv (Cornell University)|2020. 07. 20.

Peer-to-Peer Network Technologies참고 문헌 25인용 수 4

한 줄 요약

이 논문은 prod2vec 임bedding된 제품 공간 위에서 생성형 브라우징 모델을 사용하여 대체 쇼핑객 타임라인을 모델링함으로써 이커머스에서 세션 내 검색 할당에 대한 인과적이고 반사적 접근을 제안한다. 이 다우즈(멀티버스) 기반 방법(MV)은 규칙 기반(GA), 예측 기반(SS), 히우리스틱 기반(CB) 방법보다 인과적 관련성을 더 잘 포착하며, 산업 데이터셋에서 75%의 할당 정확도를 기록했으며, 미묘한 케이스에서 인간의 직관과 강한 일치를 보였다.

ABSTRACT

We tackle the challenge of in-session attribution for on-site search engines in eCommerce. We phrase the problem as a causal counterfactual inference, and contrast the approach with rule-based systems from industry settings and prediction models from the multi-touch attribution literature. We approach counterfactuals in analogy with treatments in formal semantics, explicitly modeling possible outcomes through alternative shopper timelines; in particular, we propose to learn a generative browsing model over a target shop, leveraging the latent space induced by prod2vec embeddings; we show how natural language queries can be effectively represented in the same space and how "search intervention" can be performed to assess causal contribution. Finally, we validate the methodology on a synthetic dataset, mimicking important patterns emerged in customer interviews and qualitative analysis, and we present preliminary findings on an industry dataset from a partnering shop.

연구 동기 및 목표

• 세션 내 검색이 전환에 미치는 진정한 인과적 영향을 측정하는 데 있어 규칙 기반 및 예측 기반 할당 방법의 한계를 해결하기 위해.
• 검색 상호작용이 없었을 경우 전환이 일어났을지 여부를 묻는 반사적 추론 문제로 세션 내 할당을 모델링하기 위해.
• 밀도 임베딩과 생성형 모델링을 활용하여 대체 쇼핑객 타임라인을 시뮬레이션하는 실용적이고 최소한의 오버헤드를 가진 방법을 개발하기 위해.
• 합성 및 실세계 이커머스 데이터셋에서 방법을 검증하여, 인과적 관련성에 대해 인간의 판단과 향상된 일치를 보여주기 위해.
• 검색 외의 다른 현장 터치포인트, 예를 들어 추천 및 카테고리 브라우징과 같은 다른 요소로도 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 반사적 추론을 통해 인과적 할당을 모델링하며, 각 쇼핑객 세션을 검색 상호작용이 가상으로 제거된 잠재 세계로 간주한다.
• 제품과 쿼리를 동일한 고차원 잠재 공간에 표현할 수 있도록, prod2vec 임베딩에 기반한 생성형 브라우징 모델을 사용하여 대체 타임라인을 시뮬레이션한다.
• 자연어 쿼리는 동일한 공간에 임bedded되어 일관된 표현과 '검색 간섭' 편향을 통한 간섭을 가능하게 한다.
• 관측된 타임라인과 반사적 타임라인에서의 전환 확률을 계산하여 인과 효과를 추정한다.
• 추천 및 카테고리 목록과 같은 서비스로의 다중 터치포인트 처리를 위해 다우즈 프레임워크를 일반화한다.
• 검증은 실제 사용자 행동을 모방하는 합성 데이터와 파artner링한 이커머스 사이트의 산업 데이터셋을 사용하며, 다양한 방법 간 할당 점수를 비교한다.

실험 결과

연구 질문

• RQ1 현장 내 검색이 전환에 기여하는 정도는, 이전의 의도나 브라우징 행동과 독립적으로 어느 정도인가?
• RQ2 이커머스의 고차원적이고 밀도 높은 사용자 세션 표현에 대해 반사적 추론을 효과적으로 적용할 수 있는가?
• RQ3 대체 타임라인의 생성형 모델이 규칙 기반 또는 예측 기반 시스템보다 할당 정확도를 향상시킬 수 있는가?
• RQ4 검색과 전환이 느슨하게 연결된 경우와 같이 미묘한 할당 케이스에서 제안된 방법이 인간의 판단과 얼마나 잘 일치하는가?
• RQ5 이 방법은 검색 외의 다양한 이커머스 플랫폼과 터치포인트로 일반화 가능한가?

주요 결과

• 다우즈 기반 방법(MV)은 산업 데이터셋에서 75%의 검색 할당 정확도를 기록했으며, 규칙 기반(GA: 100%, 그러나 오해의 소지가 있음), 인과 기반 베이스라인(CB: 47%), 유사도 기반(SS: 77%) 방법보다 뛰어났다.
• MV는 사용자가 이미 목표 제품을 장바구니에 담은 후에 검색한 경우와 같이 검색의 인과적 영향이 미미한 케이스를 정확히 식별하여, 이러한 상호작용을 약한 관련성으로 표시했으며, SS는 관련성을 과대평가한 반면 MV는 이를 피했다.
• 합성 데이터에서 MV는 검색이 브라우징으로 이어지지만 전환으로 이어지지 않는 경우, 또는 전환이 검색과 무관하게 발생하는 경우와 같은 미묘한 인과 역학을 성공적으로 포착했다.
• 이 방법은 특히 이전의 의도와 검색 관련성 간의 분리가 발생하는 경우 인간의 직관과 강력한 정성적 일치를 보였다.
• 이 프레임워크는 일반화 가능하고 확장 가능하며, 추천 및 카테고리 탐색과 같은 다른 현장 기능으로의 간편한 적응이 가능하다.
• 이 연구는 인과적 할당 정확도에 있어 기저의 쇼핑객 의도와의 관련성이 핵심 요소임을 확인하였으며, 순수 예측 모델(SS 등)은 이러한 미묘한 요소를 포착하지 못함을 입증했다.