[논문 리뷰] Logs with zeros? Some problems and solutions

Jiafeng Chen, Jonathan Roth|arXiv (Cornell University)|2022. 12. 12.

Advanced Causal Inference Techniques인용 수 40

한 줄 요약

본 논문은 0 값을 가지는 결과에 대해 로그 유사 변환의 ATE가 임의적으로 규모에 의존하며 단위 불변 백분율 효과로 해석될 수 없음을 보인다; 대안과 삼원딜레마를 제시하고, 경험적 예시를 통해 보여준다.

ABSTRACT

When studying an outcome $Y$ that is weakly-positive but can equal zero (e.g. earnings), researchers frequently estimate an average treatment effect (ATE) for a "log-like" transformation that behaves like $\log(Y)$ for large $Y$ but is defined at zero (e.g. $\log(1+Y)$, $\mathrm{arcsinh}(Y)$). We argue that ATEs for log-like transformations should not be interpreted as approximating percentage effects, since unlike a percentage, they depend on the units of the outcome. In fact, we show that if the treatment affects the extensive margin, one can obtain a treatment effect of any magnitude simply by re-scaling the units of $Y$ before taking the log-like transformation. This arbitrary unit-dependence arises because an individual-level percentage effect is not well-defined for individuals whose outcome changes from zero to non-zero when receiving treatment, and the units of the outcome implicitly determine how much weight the ATE for a log-like transformation places on the extensive margin. We further establish a trilemma: when the outcome can equal zero, there is no treatment effect parameter that is an average of individual-level treatment effects, unit-invariant, and point-identified. We discuss several alternative approaches that may be sensible in settings with an intensive and extensive margin, including (i) expressing the ATE in levels as a percentage (e.g. using Poisson regression), (ii) explicitly calibrating the value placed on the intensive and extensive margins, and (iii) estimating separate effects for the two margins (e.g. using Lee bounds). We illustrate these approaches in three empirical applications.

연구 동기 및 목표

• 결과가 0이 될 수 있을 때 로그 유사 변환의 사용을 동기화하고 발생하는 해석 문제를 식별한다.
• 처치에 의해 확장 여백이 영향을 받는 경우 로그 유사 변환의 ATE가 규모에 의존한다는 것을 보인다.
• 0 값에서 어떤 매개변수도 개별 효과의 평균이면서 동시에 단위 불변이고 점-식별될 수 없음이라는 삼원딜레마를 입증한다.
• 광역 및 집중 여백이 존재하는 상황에 대한 대안적 목표 매개변수와 추정 전략을 제안한다.
• 실험적 적용을 통해 접근법을 설명하고 연구자들에게 미치는 실용적 시사점을 논의한다.

제안 방법

• 대형 y에서 log(y)처럼 작동하지만 0에서 정의되는 m(y) 로그 유사 변환을 정의한다(예: log(1+y), arcsinh(y)).
• 처치가 광역 여백(0 대 양의 결과)에 영향을 주면 m(Y)의 ATE가 단위를 재스케일링하여 임의의 크기로 조정될 수 있음을 증명하여 단위 의존성을 시사한다.
• 0 값의 결과 하에서 매개변수가 개별 효과의 평균이면서도 단위 불변이고 점 식별될 수 없다는 삼원딜레마를 확립한다.
• 대안 매개변수들에 대해 논의한다(예: Poisson 회귀를 통한 수준에서의 ATE% , 여백의 명시적 보정, 경계나 추가 가정에 의한 별도 여백 등).
• 대안 매개변수를 추정하기 위한 설계도를 제공하고 이를 세 가지 실증 설정(RCT, DiD, IV)에 적용한다.

Figure 1: Change from multiplying outcome by 100 versus extensive margin effect

실험 결과

연구 질문

• RQ1 처리군과 대조군에서 결과가 0일 수 있을 때 로그 유사 변환은 어떻게 작용하는가?
• RQ2 제로 값과 광역 여백이 존재할 때 로그 유사 변환의 ATE를 단위 불변 백분율 효과로 해석할 수 있는가?
• RQ3 제로 값의 결과와 여백이 존재할 때 합리적인 대안적 인과 매개변수 및 추정 전략은 무엇인가?
• RQ4 집중 및 광역 여백을 가진 실증 적용에서 이러한 대안들이 어떻게 작동하는가?

주요 결과

• 광역 여백이 영향을 받을 때 로그 유사 변환의 ATE는 Y의 단위에 임의로 민감하다.
• 제로가 가능한 경우 개별 효과의 평균이자 단위 불변이며 점 식별되는 처치 효과 매개변수는 존재하지 않는다.
• 연구자들은 대신 수준 기반 백분율(예: Poisson 회귀를 통한 수준에서의 ATE%)을 사용하거나 집중 vs 광역 여백에서 값을 명시적으로 보정하거나 별도로 여백을 추정할 수 있다.
• 민감도 분석은 결과를 어떤 인자만큼 재스케일하면 로그 유사 변환의 ATE가 스케일링의 로그에 대략 비례해 바뀔 수 있음을 보여주며, 이는 주로 광역 여백 효과에 의해 좌우된다.
• 이 논문은 AER 게재 논문들에서 arcsinh(Y) 또는 log(1+Y)를 사용하는 경우에 상당한 규모 민감성을 보이는 경험적 예시를 제시한다.

Figure 2: Density of bribe amount in Sequeira ( 2016 )