[논문 리뷰] Using Machine Learning to Test Causal Hypotheses in Conjoint Analysis

Dae-Woong Ham, Kosuke Imai외 1명|arXiv (Cornell University)|2022. 01. 20.

Economic and Environmental Valuation참고 문헌 34인용 수 7

한 줄 요약

이 논문은 조인트 분석에서 복잡한 상호작용을 탐지하는 데에 기계학습을 활용하면서도 가정이 없는 조건부 랜덤화 검정(CRT)-기반 원인인과 추론 방법을 제안한다. 랜덤화 기반 추론을 통해 모형 잘못설정 문제를 피하면서도 고차원 설정에서도 강력하고 정확한 p-값을 제공하여, 전통적인 평균 마진 성과 효과(AMCE) 방법보다 유의미한 상호작용을 더 잘 탐지한다.

ABSTRACT

Conjoint analysis is a popular experimental design used to measure multidimensional preferences. Researchers examine how varying a factor of interest, while controlling for other relevant factors, influences decision-making. Currently, there exist two methodological approaches to analyzing data from a conjoint experiment. The first focuses on estimating the average marginal effects of each factor while averaging over the other factors. Although this allows for straightforward design-based estimation, the results critically depend on the distribution of other factors and how interaction effects are aggregated. An alternative model-based approach can compute various quantities of interest, but requires researchers to correctly specify the model, a challenging task for conjoint analysis with many factors and possible interactions. In addition, a commonly used logistic regression has poor statistical properties even with a moderate number of factors when incorporating interactions. We propose a new hypothesis testing approach based on the conditional randomization test to answer the most fundamental question of conjoint analysis: Does a factor of interest matter in any way given the other factors? Our methodology is solely based on the randomization of factors, and hence is free from assumptions. Yet, it allows researchers to use any test statistic, including those based on complex machine learning algorithms. As a result, we are able to combine the strengths of the existing design-based and model-based approaches. We illustrate the proposed methodology through conjoint analysis of immigration preferences and political candidate evaluation. We also extend the proposed approach to test for regularity assumptions commonly used in conjoint analysis. An open-source software package is available for implementing the proposed methodology.

연구 동기 및 목표

• 기존의 AMCE 기반 방법이 다른 요소들에 대해 평균화되면서 중요한 상호작용을 가림으로써 발생하는 한계를 해결하기 위해.
• 모수적 모형 가정 없이도 원인 효과에 대한 가정이 없는 가설 검정을 가능하게 하는 방법을 개발하기 위해.
• 기계학습 알고리즘을 조인트 데이터의 원인인과 추론에 통합하여, 모형 잘못설정 없이 복잡한 고차원 상호작용을 탐지할 수 있도록 하기 위해.
• 이 프레임워크를 확장하여 조인트 실험에서의 규칙성 가정(예: 프로파일 순서 효과 없음, 피로 효과, 이월 효과 등)을 검증하기 위해.
• 연구자들이 정확한 p-값을 사용하여 제안된 방법을 구현할 수 있도록 실용적이고 오픈소스의 R 패키지(CRTConjoint)를 제공하기 위해.

제안 방법

• 이 방법은 조인트 실험의 랜덤화 메커니즘에 기반하여 정확하고 가정이 없는 가설 검정을 수행하기 위해 조건부 랜덤화 검정(CRT)을 활용한다.
• 연구자들이 Lasso 로지스틱 회귀와 같은 복잡한 기계학습 모델에서 유도된 테스트 통계량을 포함하여 어떤 테스트 통계량이라도 사용할 수 있으며, 모형 사양이 필요로 하지 않는다.
• CRT는 설계 조건을 유지하면서 관심 있는 처리 변수를 순열함으로써 귀무가설 하에서의 귀무분포를 구성하여 날카로운 귀무가설 하에서 유효한 추론을 보장한다.
• 상호작용 탐지의 경우, 주효과와 상호작용 항(예: 성별과 소속 정당 간의 상호작용)을 포함한 테스트 통계량을 사용하며, p-값은 귀무가설 하에서 순열을 통해 계산된다.
• 규칙성 가정 검증을 위해 이 접근법을 확장하여, 프로파일 순서 효과나 피로 등의 위반을 반영하는 적절한 테스트 통계량을 사용한다.
• 고차원 데이터와 정확한 p-값을 지원하는 오픈소스 R 패키지인 CRTConjoint이 제공되어 방법을 구현할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다른 요소들과의 상호작용이 존재할 때, 주어진 요인이 그 마진 효과와는 무관하게 어떤 방식으로든 영향을 미치는가?
• RQ2 기계학습 기반의 테스트 통계량은 기존의 AMCE 방법보다 조인트 데이터에서 유의미한 상호작용을 더 효과적으로 탐지할 수 있는가?
• RQ3 실제 데이터에서 조인트 분석에서 일반적으로 사용되는 규칙성 가정(예: 프로파일 순서 효과 없음, 피로 효과 없음 등)이 위반되는가?
• RQ4 상호작용이 존재할 경우, CRT 기반 접근법은 AMCE 기반 추론과 비교하여 통계적 검정력과 타당성 측면에서 어떻게 다른가?
• RQ5 CRT는 표준 회귀 모형이 놓치는 고차원 상호작용(예: 삼중 상호작용)을 탐지할 수 있는가?

주요 결과

• 대통령 후보자 데이터에서 CRT는 성별과 소속 정당 간의 유의미한 상호작용을 탐지했으며, HierNet 테스트 통계량을 사용한 p-값은 0.029로, 성별 효과가 정당에 따라 달라짐을 시사한다.
• 대통령 데이터에서 가장 강한 상호작용은 성별과 소속 정당 간의 상호작용이었으며, 낮은 CRT p-값을 보여, 성별 효과가 후보자의 정당에 따라 달라짐을 뒷받침한다.
• 국회의원 후보자 데이터에서는 동일한 상호작용에 대한 CRT p-값이 0.029였으며, 데이터셋 간 일관된 상호작용 효과 증거를 보였다.
• 이 방법은 두 가지 유의미한 삼중 상호작용을 식별했다: 하나는 성별, 소속 정당, 응답자의 정치적 관심도를 포함한 상호작용이며, 다른 하나는 성별, 소속 정당, 응답자의 정당 소속을 포함한 상호작용이다.
• 이민 데이터의 경우, 성별과 소속 정당 간 상호작용에 대한 CRT p-값은 0.15로 중간 정도의 상호작용 증거를 보였으며, AMCE 기반 p-값은 0.89로 효과 탐지 실패를 시사했다.
• AMCE 모형에 주효과와 상호작용 항을 추가로 조정한 후에도 p-값은 여전히 0.40이었으며, 이는 CRT가 복잡한 상호작용이 존재할 경우 비제로 효과에 대한 더 강한 증거를 제공한다는 것을 보여준다.