[論文レビュー] The Many-to-Many Mapping Between the Concordance Correlation Coefficient and the Mean Square Error

Vedhas Pandit, Björn W. Schuller|arXiv (Cornell University)|Feb 13, 2019

Advanced Statistical Methods and Models被引用数 13

ひとこと要約

本稿は、平均二乗誤差（MSE）と一致相関係数（CCC）の間の正確な多対多対応関係を確立し、MSEが低くなるからといってCCCが高くなるとは限らないことを明らかにした。任意の与えられたMSEに対して達成可能なCCC値の正確な範囲を示す閉形式の数学的関係を導出し、MSE最小化がCCC最適化を必ずしも達成しない条件を同定した。これにより、多変量回帰におけるCCCにインspiredされた損失関数の基礎が築かれた。

ABSTRACT

We derive the mapping between two of the most pervasive utility functions, the mean square error ($MSE$) and the concordance correlation coefficient (CCC, $\ ho_c$). Despite its drawbacks, $MSE$ is one of the most popular performance metrics (and a loss function); along with lately $\ ho_c$ in many of the sequence prediction challenges. Despite the ever-growing simultaneous usage, e.g., inter-rater agreement, assay validation, a mapping between the two metrics is missing, till date. While minimisation of $L_p$ norm of the errors or of its positive powers (e.g., $MSE$) is aimed at $\ ho_c$ maximisation, we reason the often-witnessed ineffectiveness of this popular loss function with graphical illustrations. The discovered formula uncovers not only the counterintuitive revelation that `$MSE_1<MSE_2$' does not imply `$\ ho_{c_1}>\ ho_{c_2}$', but also provides the precise range for the $\ ho_c$ metric for a given $MSE$. We discover the conditions for $\ ho_c$ optimisation for a given $MSE$; and as a logical next step, for a given set of errors. We generalise and discover the conditions for any given $L_p$ norm, for an even p. We present newly discovered, albeit apparent, mathematical paradoxes. The study inspires and anticipates a growing use of $\ ho_c$-inspired loss functions e.g., $\\left|\\frac{MSE}{\\sigma_{XY}}\ ight|$, replacing the traditional $L_p$-norm loss functions in multivariate regressions.

研究の動機と目的

• 回帰分析と一致分析の分野で最も広く用いられる2つの指標、MSEとCCCの間の直接的な対応関係が長年にわたり欠落していたという問題を解決すること。
• 特に時系列予測や評価者間一致度分析のタスクにおいて、MSEの最小化とCCCの最大化の間にある根本的な乖離を露呈すること。
• 任意の与えられたMSEに対して達成可能なCCC値の範囲を定義する正確な数学的関係を導出し、性能の解釈を明確にすること。
• 偶数次のLpノルム（例：L4、L6）に対してもこの結果を一般化し、一般的な評価指標に潜むより深い構造的パラドックスを明らかにすること。
• 多変量回帰における従来のLpノルム損失関数の代替として、CCCにインspiredされた損失関数（例：|MSE/σXY|）の採用を促すこと。

提案手法

• CCCの定義（ピアソン相関係数ρと精度から正確さへのペナルティCbの積）を用いて、MSEとCCCの間の閉形式の解析的対応関係を導出する。
• CCCの式を代数的に変形し、MSE、平均、分散を用いてCCCを関数として表現することで、非単調的で多対多の関係が明らかになる。
• 再配列不等式とチエビシェフの和の不等式を用いて、固定されたMSEに対してCCCを最大または最小にする誤差の極値的構成を分析する。
• Lpノルム（例：L4、L6）に対してもこの対応関係を一般化し、同様の非単調的挙動が継続することを示す。
• 既存の定式化との一貫性チェックを実施し、実世界のデータ（SEWA/AVEC’17）を用いた再現可能性を確保するためのオープンソースコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 回帰分析と一致分析の分野で広く用いられるが、しばしば併用されるMSEとCCCの間には、正確な数学的対応関係を確立できるか？
• RQ2 なぜMSEの最小化が一貫してCCCの最大化をもたらさないのか。その背後にある構造的要因は何か？
• RQ3 与えられたMSEに対して達成可能なCCC値の正確な範囲は何か。また、母集団の平均と分散はこの範囲にどのように制約を加えるか？
• RQ4 誤差の分布と順序は、固定されたMSEに対してCCCにどのように影響を与えるか。極値的構成は解析的に導出可能か？
• RQ5 MSEとCCCの対応関係は、特に偶数次のLpノルムに対しても一般化可能か。損失関数設計にどのような意味を持つのか？

主な発見

• MSEとCCCの対応関係は多対多である：1つのMSE値が複数のCCC値に対応可能であり、逆に1つのCCC値に対しても複数のMSE値が存在する。これは、MSEが低ければCCCが高くなるという仮定を無効にする。
• 任意の与えられたMSEに対して、達成可能なCCCの範囲は有界であり、予測値と真値の系列の平均および分散に明示的に依存する。
• 本稿では、CCCがMSE、標準偏差の積、および平均の差の二乗の関数として表される閉形式の式を導出している。
• MSEの最小化がCCCの最大化を保証しないことが判明した。特にスケールおよび位置のずれが存在する場合には、CCCにおけるこれらの成分の別々のペナルティが原因で生じる。
• 再配列不等式やチエビシェフの和の不等式を用いて、固定されたMSEに対してCCCを最大または最小にする条件を同定した。
• 本研究の知見は、特にスケールおよび位置の一致が重要な文脈において、|MSE/σXY|のようなCCCにインスパイアされた損失関数が、従来のLpノルム損失関数のより原理的で優れた代替手段である可能性を示唆している。