[논문 리뷰] Credibility evaluation of income data with hierarchical correlation reconstruction

Jarek Duda, Adam Szulc|arXiv (Cornell University)|2018. 12. 19.

Advanced Data Compression Techniques참고 문헌 9인용 수 4

한 줄 요약

이 논문은 내생적 변수를 사용하여 조건부 확률 밀도를 모델링함으로써 공표된 소득의 신뢰성을 평가하기 위해 계층적 상관관계 재구성(HCR) 방법을 제안한다. 소득을 균일한 [0,1] 분포로 정규화하고 밀도를 정규수직 다항식의 선형 조합으로 모델링함으로써, 해석 가능한 순간 기반의 신뢰성 평가 점수를 가능하게 하며, m=4일 때 최적의 로그우도 성능을 보인다.

ABSTRACT

In situations like tax declarations or analyzes of household budgets we would like to automatically evaluate credibility of exogenous variable (declared income) based on some available (endogenous) variables - we want to build a model and train it on provided data sample to predict (conditional) probability distribution of exogenous variable based on values of endogenous variables. Using Polish household budget survey data there will be discussed simple and systematic adaptation of hierarchical correlation reconstruction (HCR) technique for this purpose, which allows to combine interpretability of statistics with modelling of complex densities like in machine learning. For credibility evaluation we normalize marginal distribution of predicted variable to $ρ\approx 1$ uniform distribution on $[0,1]$ using empirical distribution function $(x=EDF(y)\in[0,1])$, then model density of its conditional distribution $( extrm{Pr}(x_0|x_1 x_2\ldots))$ as a linear combination of orthonormal polynomials using coefficients modelled as linear combinations of features of the remaining variables. These coefficients can be calculated independently, have similar interpretation as cumulants, additionally allowing to directly reconstruct probability distribution. Values corresponding to high predicted density can be considered as credible, while low density suggests disagreement with statistics of data sample, for example to mark for manual verification a chosen percentage of data points evaluated as the least credible.

연구 동기 및 목표

• 보조 가정세입 변수를 사용하여 공표된 소득의 신뢰성을 자동으로 평가하는 방법을 개발하기 위해.
• 단지 평균이 아닌 전체 조건부 확률 분포를 모델링하여 다중모드 또는 이질적인 패tern을 탐지할 수 있도록 하기 위해.
• 통계적 순간의 해석 가능성과 기계학습 유사 밀도 모델링의 유연성을 결합하기 위해.
• 실제 분포 함수 정규화를 사용하여 균일한 마진 분포를 확보함으로써 소득 범위 전반에 걸쳐 공정한 신뢰성 평가 점수를 가능하게 하기 위해.
• 예측된 분포에서 저밀도 영역을 이상치 또는 오류로 식별하여 수동 검토가 필요함을 나타내기 위해.

제안 방법

• 실제 분포 함수(EDF)를 사용하여 외생 변수(공표된 소득)를 균일한 [0,1] 분포로 정규화한다.
• 내생 변수에 따라 계수를 결정하는 최소제곱 회귀를 통해 x₀에 대한 조건부 밀도 Pr(x₀|x₁,…,x_d)를 정규수직 다항식의 선형 조합으로 모델링한다.
• 다항식 전개의 계수를 통계적 순간(평균, 분산, 왜도, 첨도)으로 표현하여 누산량과 유사한 해석이 가능하도록 한다.
• 모델을 폴란드 가정부문 조사 데이터의 75%에 대해 훈련하고 나머지 25%에 대해 평가하며, 주요 평가 지표로 로그우도를 사용한다.
• 계층적 상관관계 재구성(HCR)을 적용하여 연합 밀도를 모델링하고, 계수는 평균제곱오차 최소화를 통해 최적화한다.
• 모델 차수 m(최대 9)를 사용하여 복잡도를 조절하며, m=4가 성능과 해석 가능성 사이의 최적 균형을 이룬다.

실험 결과

연구 질문

• RQ1 계층적 상관관계 재구성(HCR)은 보조 변수를 기반으로 복잡하고 다중모드인 소득 데이터의 조건부 밀도를 효과적으로 모델링할 수 있는가?
• RQ2 다항식 차수 m의 선택이 예측 로그우도와 신뢰성 평가 정확도에 어떤 영향을 미치는가?
• RQ3 다항식 전개의 계수는 평균, 분산, 왜도 등 의미 있는 통계적 순간으로 충분히 해석될 수 있는가?
• RQ4 낮은 예측 밀도 값은 표본과 통계적으로 일치하지 않는 데이터 포인트를 신뢰성 있게 식별할 수 있는가? 이는 잠재적 오류 또는 사기의 징후일 수 있다.
• RQ5 3점 상관관계와 같은 고차원 의존성은 이원관계 모델링에 비해 신뢰성 모델링에 어떤 개선을 이끌어내는가?

주요 결과

• m=2를 사용할 경우, 균일 기준(ρ=1)보다 약 1.5비트 높은 로그우도를 기록하여 실제 소득 값 예측 성능이 유의미하게 향상됨을 확인하였다.
• 모델 성능은 m=4에서 최고에 도달하였으며, 이는 균일 기준 대비 약 2.0비트 높은 로그우도 향상을 보여, 복잡성과 정확도 사이의 최적 균형을 이룬다.
• m=4일 경우, 모델이 표본보다 더 높은 분산을 예측하여 꼬리 행동이 강화되고 다중모드 패턴 탐지 능력이 향상됨을 나타낸다.
• 예측된 분포의 약 1/3이 표본 표준편차보다 큰 표준편차를 가지며, 극단적 값에 대한 민감도 향상을 시사한다.
• 연속형 변수(예: 식료품, 연령)에 대한 계수는 해석 가능한 관계를 보이다. 식료품에 대한 음수 계수는 소득과의 반상관관계를 나타내고, 연령에 대한 양수 계수는 양의 상관관계를 시사한다.
• 이 방법은 예측 소득 감소에 놀라운 급격한 상승을 보이는 단일 12인 가구를 이상치로 식별하여 희귀 데이터 포인트에 대한 민감도를 입증하였다.