[논문 리뷰] The Many-to-Many Mapping Between the Concordance Correlation Coefficient and the Mean Square Error

Vedhas Pandit, Björn W. Schuller|arXiv (Cornell University)|2019. 02. 13.

Advanced Statistical Methods and Models인용 수 13

한 줄 요약

이 논문은 평균 제곱 오차(MSE)와 일치성 상관계수(CCC) 사이의 정확한 다대다 매핑을 수립하여, 낮은 MSE가 높은 CCC를 보장하지는 않음을 드러낸다. 주어진 MSE에 대해 달성 가능한 CCC 값의 정확한 범위를 보여주는 닫힌 형식의 수학적 관계를 유도하며, MSE 최소화가 CCC 최적화를 보장하지 못하는 조건을 규명함으로써 다변량 회귀에서 CCC 기반 손실 함수 설계의 기초를 제공한다.

ABSTRACT

We derive the mapping between two of the most pervasive utility functions, the mean square error ($MSE$) and the concordance correlation coefficient (CCC, $\ ho_c$). Despite its drawbacks, $MSE$ is one of the most popular performance metrics (and a loss function); along with lately $\ ho_c$ in many of the sequence prediction challenges. Despite the ever-growing simultaneous usage, e.g., inter-rater agreement, assay validation, a mapping between the two metrics is missing, till date. While minimisation of $L_p$ norm of the errors or of its positive powers (e.g., $MSE$) is aimed at $\ ho_c$ maximisation, we reason the often-witnessed ineffectiveness of this popular loss function with graphical illustrations. The discovered formula uncovers not only the counterintuitive revelation that `$MSE_1<MSE_2$' does not imply `$\ ho_{c_1}>\ ho_{c_2}$', but also provides the precise range for the $\ ho_c$ metric for a given $MSE$. We discover the conditions for $\ ho_c$ optimisation for a given $MSE$; and as a logical next step, for a given set of errors. We generalise and discover the conditions for any given $L_p$ norm, for an even p. We present newly discovered, albeit apparent, mathematical paradoxes. The study inspires and anticipates a growing use of $\ ho_c$-inspired loss functions e.g., $\\left|\\frac{MSE}{\\sigma_{XY}}\ ight|$, replacing the traditional $L_p$-norm loss functions in multivariate regressions.

연구 동기 및 목표

• 회귀 및 일치 분석에서 가장 널리 사용되는 두 지표인 MSE와 CCC 사이에 직접적인 매핑이 장기간 부재한 문제를 해결하기 위해.
• 특히 시퀀스 예측 및 평가자 간 일치도 분석 작업에서 MSE를 최소화하는 것과 CCC를 최대화하는 것이 상호 간에 일관되지 않은 근본적인 불일치를 드러내기 위해.
• 주어진 MSE에 대해 달성 가능한 CCC 값의 범위를 정의하는 정확한 수학적 관계를 유도하여 성능 해석의 정밀도를 보장하기 위해.
• 이러한 결과를 짝수 차수의 Lp 노름으로 일반화하여 일반 평가 지표 내에서 깊이 있는 구조적 역설을 드러내기 위해.
• 특히 척도 및 위치 일치가 중요한 다변량 회귀에서 기존의 Lp-노름 손실 함수의 대안으로 CCC 기반 손실 함수(예: |MSE/σXY|)의 도입을 촉진하기 위해.

제안 방법

• CCC의 정의를 바탕으로 Pearson 상관계수(ρ)와 정밀도 대 정확도에 대한 보상 항(Cb)의 곱으로 표현된 CCC를 사용하여 MSE와 CCC 사이의 닫힌 형식의 해석적 매핑을 유도한다.
• CCC 공식의 대수적 변환을 통해 CCC를 MSE, 평균 및 분산의 함수로 표현함으로써, 비단조화적이고 다대다인 관계를 드러낸다.
• 고정된 MSE에서 CCC를 최대화하거나 최소화하는 극단적 오차 구성 요건을 분석하기 위해 재배열 부등식과 체비셰프의 합 부등식을 적용한다.
• L4, L6 등 짝수 거듭제곱 Lp 노름으로 이 매핑을 일반화하여, 동일한 비단조화적 행동이 유지됨을 보여준다.
• 기존의 수식과의 일관성 검증을 통해 결과를 검증하고, 실제 데이터(SEWA/AVEC’17)를 활용한 재현 가능성을 위한 오픈소스 코드를 제공한다.

실험 결과

연구 질문

• RQ1 회귀 및 일치 분석 분야에서 널리 사용되지만 종종 함께 쓰이는 MSE와 CCC 사이에 정확한 수학적 매핑을 수립할 수 있는가?
• RQ2 왜 MSE를 최소화하는 것이 항상 CCC를 최대화하지 못하는가? 이러한 불일치의 근본적인 구조적 이유는 무엇인가?
• RQ3 주어진 MSE에 대해 달성 가능한 CCC 값의 정확한 범위는 무엇이며, 예측값과 진짜 시계열의 평균과 분산은 이 범위에 어떤 영향을 미치는가?
• RQ4 고정된 MSE에서 오차 분포와 순서는 CCC에 어떤 영향을 미치며, 극단적 구성 요건을 해석적으로 유도할 수 있는가?
• RQ5 MSE와 CCC 사이의 매핑을 Lp 노름, 특히 짝수 차수로 일반화할 수 있으며, 이는 손실 함수 설계에 어떤 영향을 미치는가?

주요 결과

• MSE와 CCC 사이의 매핑은 다대다 관계이다: 동일한 MSE 값이 여러 개의 CCC 값을 가질 수 있으며, 반대로 동일한 CCC 값이 여러 개의 MSE 값을 가질 수 있다. 이는 낮은 MSE가 높은 CCC를 보장한다는 가정을 무너뜨린다.
• 모든 주어진 MSE에 대해 달성 가능한 CCC의 범위는 유한하며, 예측값과 진짜 시계열의 평균과 분산에 명시적으로 의존한다.
• 논문은 CCC가 MSE, 표준편차의 곱, 평균 차이의 제곱의 함수로 표현될 수 있음을 보여주는 닫힌 형식의 수식을 도출한다.
• 연구는 MSE를 최소화한다고 해서 반드시 CCC를 최대화하지 못함을 드러내며, 특히 척도 및 위치 이동이 존재할 경우 CCC에서 이러한 성분들이 별도로 보상되기 때문에 그러한 현상이 발생한다.
• 재배열 부등식과 체비셰프의 합 부등식을 활용하여 고정된 MSE에서 CCC를 최대화하거나 최소화할 수 있는 조건을 규명한다.
• 결과적으로 CCC 기반 손실 함수(예: |MSE/σXY|)가 다변량 회귀에서 표준 Lp-노름 손실 함수의 더 체계적인 대안이 될 수 있음을 시사한다. 특히 척도 및 위치 일치가 중요한 경우에 유용하다.