[논문 리뷰] Statistical Properties of the log-cosh Loss Function Used in Machine Learning

Resve Saleh, A. K. Ehsanes Saleh|arXiv (Cornell University)|2022. 08. 09.

Statistical Methods and Inference인용 수 26

한 줄 요약

본 논문은 log-cosh 손실의 통계적 성질을 도출하고, Cosh 분포를 기저 모델로 확인하며 이를 Normal과 Cauchy와 비교한다; 또한 강인성 이점과 quantile regression 맥락에서의 응용을 보인다.

ABSTRACT

This paper analyzes a popular loss function used in machine learning called the log-cosh loss function. A number of papers have been published using this loss function but, to date, no statistical analysis has been presented in the literature. In this paper, we present the distribution function from which the log-cosh loss arises. We compare it to a similar distribution, called the Cauchy distribution, and carry out various statistical procedures that characterize its properties. In particular, we examine its associated pdf, cdf, likelihood function and Fisher information. Side-by-side we consider the Cauchy and Cosh distributions as well as the MLE of the location parameter with asymptotic bias, asymptotic variance, and confidence intervals. We also provide a comparison of robust estimators from several other loss functions, including the Huber loss function and the rank dispersion function. Further, we examine the use of the log-cosh function for quantile regression. In particular, we identify a quantile distribution function from which a maximum likelihood estimator for quantile regression can be derived. Finally, we compare a quantile M-estimator based on log-cosh with robust monotonicity against another approach to quantile regression based on convolutional smoothing.

연구 동기 및 목표

• 로그-코시 손실 함수의 통계적 관점에서의 연구 동기 부여와 정당화.
• log-cosh 손실에 대응하는 Cosh 분포와 그 MLE를 도출한다.
• log-cosh MLE의 점근적 편향, 분산 및 신뢰구간 분석.
• log-cosh를 Huber, 순위 기반 방법 등 강건한 대안 및 LSE와 비교한다.
• 연속적인 log-cosh 기반 check 함수 및 SMRQ를 도입하여 quantile regression으로 확장하고, 그 피셔 정보 도출 방법과 부트스트래핑 사용법를 포함한다.

제안 방법

• log-cosh 손실을 rho_L(x, theta)=log(cosh(x - theta))로 정의한다.
• pdf f(x; theta, sigma)=1/(pi sigma cosh((x-theta)/sigma)) 인 Cosh 분포를 도출한다.
• 합계_i tanh(x_i - theta)=0 를 풀어 MLE를 계산하고, 이차 도함수 sech^2(x)로 볼 때 볼록성을 보인다.
• 피셔 정보 I(theta)=1/(2 sigma^2) 및 점근적 분산 Var(hat{theta})=2 sigma^2/n를 계산한다.
• 점근적 성질을 Normal 및 Cauchy 분포와 비교하고 L1/L2 손실과의 직관적 분석을 통해 관련성을 논한다.
• 연속적인 log-cosh 기반 check 함수 및 SMRQ를 도입하여 quantile regression으로 확장하고, 그 피셔 정보 도출 방법과 표본 추정을 위한 부트스트래핑 사용법을 포함한다.

실험 결과

연구 질문

• RQ1 log-cosh 손실이 유도되는 통계적 분포는 무엇이며 이것이 Cauchy와 어떻게 비교되는가?
• RQ2 위치 매개변수에 대한 log-cosh MLE의 점근적 성질(편향, 분산, 신뢰구간)은 무엇인가?
• RQ3 추정 및 표준 오차에서 log-cosh가 Huber, rank-based 같은 강건한 대안에 비해 어떤 성능을 보이는가?
• RQ4 crossing 문제를 피하기 위해 quantile regression에서 log-cosh를 어떻게 활용할 수 있으며 대응하는 MLE와 분포는 무엇인가?
• RQ5 quantile crossing 및 단조성 문제를 다루는 데 있어 convolved smoothing이 SMRQ와 어떻게 비교되는가?

주요 결과

• log-cosh 손실은 pdf 1/(pi sigma cosh((x-theta)/sigma))인 Cosh 분포에 대응한다.
• theta에 대한 MLE는 합계_i tanh(x_i - theta)=0를 만족하며 전역 볼록이고, 점근적 Var(hat{theta}) = 2 sigma^2/n 이다.
• 점근적으로 log-cosh 추정량은 편향이 없고, 신뢰구간은 피셔 정보 I(theta)=1/(2 sigma^2)를 이용한 표준 점근 정상 이론을 따른다.
• Log-cosh는 L1 기반 방법과 비견될 만큼의 강인성을 보이며 연속적인 일차 및 이차 도함수를 제공하지만 L1은 도함수가 불연하고, 특정 설정에서 Huber보다 더 매끄러운 거동을 보인다.
• quantile regression에서 rho_S(x, tau) = log(cosh(x)) + (tau - 1/2)x 이 연속적인 log-cosh 기반 check 함수는 전통적인 check 함수의 kink 문제를 피하는 매끄러운 M-estimator를 제공한다.
• 부트스트래핑으로 점근 분산 결과를 검증하고 서로 다른 theta와 sigma에 대해 log-cosh 추정치의 일관성을 뒷받침한다.