[論文レビュー] Faithful Heteroscedastic Regression with Neural Networks

Andrew Stirn, Hans‐Hermann Wessels+4 more|arXiv (Cornell University)|Dec 18, 2022

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

この論文は、異分散性ニューラルネットワーク回帰のための単純な最適化修正を提案し、平均予測が平均のみのベースラインと同等の正確さを保証するようになる——『忠実な』平均推定を達成するとともに、同時に最先端の分散キャリブレーションを実現する。この手法は、負対数尤度損失の変更に基づくもので、実装が容易であり、異分散性ノイズをモデル化する際でさえも平均の正確さを保証する可能性を有する。

ABSTRACT

Heteroscedastic regression models a Gaussian variable's mean and variance as a function of covariates. Parametric methods that employ neural networks for these parameter maps can capture complex relationships in the data. Yet, optimizing network parameters via log likelihood gradients can yield suboptimal mean and uncalibrated variance estimates. Current solutions side-step this optimization problem with surrogate objectives or Bayesian treatments. Instead, we make two simple modifications to optimization. Notably, their combination produces a heteroscedastic model with mean estimates that are provably as accurate as those from its homoscedastic counterpart (i.e.~fitting the mean under squared error loss). For a wide variety of network and task complexities, we find that mean estimates from existing heteroscedastic solutions can be significantly less accurate than those from an equivalently expressive mean-only model. Our approach provably retains the accuracy of an equally flexible mean-only model while also offering best-in-class variance calibration. Lastly, we show how to leverage our method to recover the underlying heteroscedastic noise variance.

研究の動機と目的

• 標準的な異分散性ニューラルネットワーク学習において、負対数尤度（NLL）最適化を用いることで、平均のみのモデルと比較して平均推定の正確さが低下する問題に対処すること。
• 『忠実性』を形式化し、実現すること——異分散性モデルの平均推定値が、その平均のみのサブネットワークベースラインと同等の正確さになること——を、分散キャリブレーションを損なわずに達成すること。
• 忠実性を保証し、回帰タスクにおける予測不確実性の信頼性を向上させる、単純で計算効率の良い最適化戦略を開発すること。
• 信頼性のある異分散性ノイズ分散の推定により、予測分散をアレアトリックおよびエピステミック成分に正確に分解できること。
• CRISPR-Cas13効果予測、画像オートエンコーディング、スカラー回帰など、多様なタスクにおいて、この手法の有効性を示すこと。

提案手法

• 標準的なNLL最適化に二つの簡単な修正を導入する：(1) 平均出力の祖先でないすべての計算グラフ要素を除去すること、(2) NLL損失を再重み付けして、平均推定の優先度を高めること。
• 修正された損失関数により、平均ネットワークのパラメータは、独立して学習されたかのように更新され、平均のみのモデルの性能が保持される。
• このアプローチは、平均と分散の最適化を分離する修正損失関数と同等であり、標準的なディープラーニングフレームワークへの実装が容易である。
• この手法は、異分散性モデルの平均推定値が、その平均のみのサブネットワークと同等の正確さであることを、証明可能に保証する——これを『忠実性』と呼ぶ。
• このアプローチにより、異分散性ノイズ分散の信頼性ある推定が可能となり、これにより予測分散をアレアトリックおよびエピステミック成分に分解できる。
• この手法は、共通のトランクネットワークと別々の平均ヘッド・分散ヘッドを用いた、回帰および表現学習タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 同じアーキテクチャを持つ平均のみのモデルと同等の正確さで、平均予測が可能な異分散性ニューラルネットワークを最適化できるか？
• RQ2 標準的なNLL最小化は、異分散性モデルにおいて、平均のみのベースラインと比較して、平均推定性能を本質的に低下させるのか？
• RQ3 単純な最適化修正により、『忠実性』（すなわち、同等の平均正確さ）を達成できるか？ さらに、分散キャリブレーションも向上できるか？
• RQ4 この手法は、生物学的データセット（例：CRISPR-Cas13効果）において、シーケンス依存の異分散性ノイズ分散を信頼性高く回復できるか？
• RQ5 正確な分散推定を用いて、予測分散をアレアトリックおよびエピステミック成分に分解できる程度はどの程度か？

主な発見

• 提案手法は『忠実な』平均推定を達成し、平均予測が、同等の表現力を持つ平均のみのモデルと証明可能に同等の正確さであることを意味する。
• スカラー回帰から画像オートエンコーディング、CRISPR-Cas13効果予測に至るまで、全テストタスクにおいて、平均正確さと分散キャリブレーションの最良の組み合わせを達成した。
• 期待キャリブレーション誤差（ECE）において、既存の異分散性モデルを顕著に上回り、優れた分散キャリブレーションを示した。
• CRISPR-Cas13データセットでは、ガイドの効果性に関する既知のシーケンス依存性を回復し、より効果的なガイドがより高い測定ノイズを示すことを特定した——これは、シーケンス依存の異分散性を示している。
• 信頼性のある異分散性ノイズ分散の推定により、予測分散をアレアトリックおよびエピステミック成分に正確に分解できるようになった。
• SHAP解析により、モデルの分散出力がシーケンス特徴に敏感であることが確認され、生のデータと平均化済みレプリカの間での分散SHAP値の差は、異分散性自体がシーケンス依存性を示していることを明らかにした。