[論文レビュー] Do We Exploit all Information for Counterfactual Analysis? Benefits of Factor Models and Idiosyncratic Correction

Jianqing Fan, Ricardo Masini+1 more|arXiv (Cornell University)|Nov 8, 2020

Economics of Agriculture and Food Markets参考文献 18被引用数 7

ひとこと要約

本稿では、因子モデルとスパース回帰を組み合わせた新規の高次元手法FarmTreatを提案する。この手法は、非定常的で高次元なデータおよび価格の内生性を伴う小売価格設定における処置効果分析における反事実推定を改善することを目的としている。潜在的要因を活用し、個別的変動を補正することで、400以上のブラジル地方自治体における異質的価格価格弾力性の正確で頑健な推定が可能となり、実世界の小売実験における最適価格戦略の向上に寄与している。

ABSTRACT

Optimal pricing, i.e., determining the price level that maximizes profit or revenue of a given product, is a vital task for the retail industry. To select such a quantity, one needs first to estimate the price elasticity from the product demand. Regression methods usually fail to recover such elasticities due to confounding effects and price endogeneity. Therefore, randomized experiments are typically required. However, elasticities can be highly heterogeneous depending on the location of stores, for example. As the randomization frequently occurs at the municipal level, standard difference-in-differences methods may also fail. Possible solutions are based on methodologies to measure the effects of treatments on a single (or just a few) treated unit(s) based on counterfactuals constructed from artificial controls. For example, for each city in the treatment group, a counterfactual may be constructed from the untreated locations. In this paper, we apply a novel high-dimensional statistical method to measure the effects of price changes on daily sales from a major retailer in Brazil. The proposed methodology combines principal components (factors) and sparse regressions, resulting in a method called Factor-Adjusted Regularized Method for Treatment evaluation ( exttt{FarmTreat}). The data consist of daily sales and prices of five different products over more than 400 municipalities. The products considered belong to the \emph{sweet and candies} category and experiments have been conducted over the years of 2016 and 2017. Our results confirm the hypothesis of a high degree of heterogeneity yielding very different pricing strategies over distinct municipalities.

研究の動機と目的

• 標準的回帰が交絡要因と価格の内生性のため失敗する状況において、小売価格設定における異質的価格弾力性を推定する課題に対処すること。
• 処置対象が限られている高次元で非定常な設定において、従来の合成コントロールや差分の差分法の限界を克服すること。
• 利用可能な未処置自治体のパネルデータ全体を効率的に活用し、正確な反事実を構築する統一フレームワークを開発すること。
• 実世界の小売実験において、市町村レベルでの処置効果の頑健な推論を可能にし、最適価格意思決定を支援すること。
• 定常的および非定常的結果を含む高次元設定において、スケーラブルで統計的に妥当な反事実推定手法を提供すること。

提案手法

• 市町村ごとの前処置期間の販売および価格データからなる高次元パネルに対して主成分分析（PCA）を適用し、共通要因を抽出する。
• 抽出された要因を、販売のグローバルかつ時変動するトレンドをモデル化するための十分統計量として用い、問題の次元を低減する。
• 未処置自治体の重みをスパース回帰（例：Lasso）を用いて推定し、処置対象の前処置経路を最もよく再構成するようにする。
• 要因抽出後の残差（個別的成分）を補正することで、反事実推定の精度を向上させ、バイアスを低減する。
• 因子調整された重みと個別的補正を組み合わせて合成コントロール経路を構築し、介入なしの状況下での反事実販売額を推定する。
• 再サンプリングに基づく推論を実施し、各後処置時点における処置効果がないという帰無仮説を検定する。p値は自治体間で集約される。

実験結果

リサーチクエスチョン

• RQ1 提案手法FarmTreatは、標準的合成コントロールや因子モデル単体と比較して、反事実推定をどの程度改善するか？
• RQ2 価格弾力性は市町村ごとにどのように異なるのか。価格変更に対する需要反応の非均質性の程度はどの程度か？
• RQ3 因子モデルと個別的補正の統合が、高次元で非定常なデータにおける処置効果推定の精度と頑健性を顕著に向上させられるか？
• RQ4 推定された弾力性は、異なる製品の市町村レベルでの最適価格戦略にどのように寄与するか？
• RQ5 提案フレームワークにおける再サンプリング手順を用いた処置効果の推論の統計的パワーと妥当性はいかがなものか？

主な発見

• FarmTreat手法は、処置自治体の店舗ごとの日次販売額について、95％信頼区間が大多数のケースで真の経路をカバーする正確な反事実経路を構築できた。
• 処置後、処置効果がないという帰無仮説の市町村平均p値が急激に低下し、処置効果の強い統計的証拠が得られた。
• 非均質的価格弾力性が市町村ごとに確認され、一部の都市では需要応答性が強く、他の都市では非弾力的応答を示した。
• 個別的補正の導入により、因子モデル単体と比較して反事実推定の精度が顕著に向上し、バイアスが低減された。
• 400以上の自治体から得られた非定常的で高次元なデータにおいて、本手法は標準的合成コントロール手法を上回る頑健な性能を示した。
• 調査された5つの製品すべてについて、推定された弾力性が都市ごとに顕著に異なることが判明し、地域別最適価格戦略の必要性が裏付けられた。