[논문 리뷰] Do We Exploit all Information for Counterfactual Analysis? Benefits of Factor Models and Idiosyncratic Correction

Jianqing Fan, Ricardo Masini외 1명|arXiv (Cornell University)|2020. 11. 08.

Economics of Agriculture and Food Markets참고 문헌 18인용 수 7

한 줄 요약

이 논문은 농촌 소매 가격 설정에서 처리 효과 분석의 반사적 추정을 향상시키기 위해 요인 모델과 희소 회귀를 융합한 새로운 고차원 방법인 FarmTreat을 제안한다. 잠재 요인을 활용하고 이디오시내틱 변동성을 보정함으로써, 비정상적이고 고차원적인 데이터이지만 400개 이상의 브라질 도시에서 이질적인 가격 수요 반응을 정확하고 견고하게 추정할 수 있게 되었으며, 이는 최적의 가격 전략을 크게 향상시킨다.

ABSTRACT

Optimal pricing, i.e., determining the price level that maximizes profit or revenue of a given product, is a vital task for the retail industry. To select such a quantity, one needs first to estimate the price elasticity from the product demand. Regression methods usually fail to recover such elasticities due to confounding effects and price endogeneity. Therefore, randomized experiments are typically required. However, elasticities can be highly heterogeneous depending on the location of stores, for example. As the randomization frequently occurs at the municipal level, standard difference-in-differences methods may also fail. Possible solutions are based on methodologies to measure the effects of treatments on a single (or just a few) treated unit(s) based on counterfactuals constructed from artificial controls. For example, for each city in the treatment group, a counterfactual may be constructed from the untreated locations. In this paper, we apply a novel high-dimensional statistical method to measure the effects of price changes on daily sales from a major retailer in Brazil. The proposed methodology combines principal components (factors) and sparse regressions, resulting in a method called Factor-Adjusted Regularized Method for Treatment evaluation ( exttt{FarmTreat}). The data consist of daily sales and prices of five different products over more than 400 municipalities. The products considered belong to the \emph{sweet and candies} category and experiments have been conducted over the years of 2016 and 2017. Our results confirm the hypothesis of a high degree of heterogeneity yielding very different pricing strategies over distinct municipalities.

연구 동기 및 목표

• 기본 회귀 모델이 혼동 요인과 가격 내재성으로 인해 실패할 때, 소매 가격 설정에서 이질적인 가격 수요 반응을 추정하는 데 도전하는 것.
• 처리된 단위의 수가 제한되어 있고 고차원적이며 비정상적인 설정에서 전통적인 합성 통제법과 차이의 차이 방법의 한계를 극복하는 것.
• 사용 가능한 모든 정보를 효과적으로 활용하여 대규모 미처리 도시 패널에서 정확한 반사적 경로를 구성하는 통합 프레임워크를 개발하는 것.
• 실제 소매 실험에서 도시 수준의 처리 효과에 대한 견고한 추론을 가능하게 하여 최적의 가격 결정을 위한 것.
• 정상적이고 비정상적인 결과를 모두 다룰 수 있는 스케일 수 있는 통계적으로 타당한 반사적 추정 방법을 제공하는 것.

제안 방법

• 다양한 도시의 사전 처리 기간 동안의 판매 및 가격 데이터로 구성된 고차원 패널에서 주성분 분석(PCA)을 적용하여 공통 요인을 추출한다.
• 추출된 요인을 사용하여 판매의 전반적이고 시간에 따라 변화하는 추세를 모델링함으로써 문제의 차원을 감소시킨다.
• 사용되지 않은 도시의 가중치를 추정하기 위해 희소 회귀(예: 라소)를 적용하여 처리된 단위의 사전 경로를 가장 잘 재구성하는 가중치를 도출한다.
• 요인 추출 후 잔차인 이디오시내틱 성분을 보정하여 반사적 추정의 정밀도를 향상시키고 편향을 줄인다.
• 요인 보정 가중치와 이디오시내틱 보정을 조합하여 개입 없이도 반사적 판매 경로를 구성한다.
• 재표본 추출 기반 추론을 수행하여 각 처리 후 시점에서 처리 효과가 없는 귀무가설을 검정하고, 도시 간의 p-값을 집계한다.

실험 결과

연구 질문

• RQ1 제안된 FarmTreat 방법이 표준 합성 통제법이나 요인 모델만 사용했을 때보다 반사적 추정을 얼마나 향상시키는가?
• RQ2 가격 수요 반응의 이질성은 도시 간에 어떻게 달라지며, 가격 변화에 대한 수요 반응의 정도는 어느 정도인가?
• RQ3 요인 모델과 이디오시내틱 보정을 통합함으로써 고차원적이고 비정상적인 데이터에서 처리 효과 추정의 정밀도와 견고성이 어떻게 향상되는가?
• RQ4 추정된 수요 반응 계수는 다양한 제품에 대해 도시 수준의 최적 가격 전략 수립에 어떻게 기여하는가?
• RQ5 제안된 프레임워크에서 재표본 추출 절차를 사용할 경우 처리 효과 추론의 통계적 검정력과 타당성은 어떠한가?

주요 결과

• FarmTreat 방법은 처리된 도시의 매일 매장 판매에 대해 정확한 반사적 경로를 성공적으로 구성하였으며, 대부분의 경우 참값 경로가 95% 신뢰구간 내에 포함되었다.
• 처리 효과가 없는 귀무가설에 대한 도시 간 중앙값 p-값이 개입 후 급격히 감소하여 처리 효과에 대한 강력한 통계적 증거를 보였다.
• 이질적인 가격 수요 반응이 도시 간에 확인되었으며, 일부 도시에서는 수요 반응이 뚜렷했고, 다른 도시에서는 비반응성이 높았다.
• 이디오시내틱 보정의 포함으로 반사적 추정의 정밀도가 크게 향상되었으며, 요인 모델만 사용한 경우에 비해 편향이 감소하였다.
• 이 방법은 400개 이상의 도시에서 얻은 비정상적이고 고차원적인 데이터에서 뛰어난 성능을 보였으며, 표준 합성 통제 방법보다 뛰어난 성능을 보였다.
• 연구한 5개 제품 전반에 걸쳐 추정된 수요 반응 계수는 도시 간에 상당한 차이를 보였으며, 이는 지역별 최적 가격 전략 수립의 필요성을 뒷받침한다.