[論文レビュー] Learning to Estimate Without Bias

Tzvi Diskin, Yonina C. Eldar+1 more|arXiv (Cornell University)|Oct 24, 2021

Statistics Education and Methodologies被引用数 4

ひとこと要約

本稿では、バイアス正則化を深層学習ベースのパrameter推定に統合することで、すべてのパrameter値において漸近的に不偏かつ最小分散の性能を達成するバイアス制約推定器（BCE）を提案する。損失関数における期待バイアスの制約により、BCEは漸近的にクラーマー・ラオ限界に達し、SNRおよび共分散推定タスクにおいて標準的な学習ベースの推定器を上回る性能を示す。

ABSTRACT

The Gauss Markov theorem states that the weighted least squares estimator is a linear minimum variance unbiased estimation (MVUE) in linear models. In this paper, we take a first step towards extending this result to non linear settings via deep learning with bias constraints. The classical approach to designing non-linear MVUEs is through maximum likelihood estimation (MLE) which often involves computationally challenging optimizations. On the other hand, deep learning methods allow for non-linear estimators with fixed computational complexity. Learning based estimators perform optimally on average with respect to their training set but may suffer from significant bias in other parameters. To avoid this, we propose to add a simple bias constraint to the loss function, resulting in an estimator we refer to as Bias Constrained Estimator (BCE). We prove that this yields asymptotic MVUEs that behave similarly to the classical MLEs and asymptotically attain the Cramer Rao bound. We demonstrate the advantages of our approach in the context of signal to noise ratio estimation as well as covariance estimation. A second motivation to BCE is in applications where multiple estimates of the same unknown are averaged for improved performance. Examples include distributed sensor networks and data augmentation in test-time. In such applications, we show that BCE leads to asymptotically consistent estimators.

研究の動機と目的

• 平均的には良好に動作するが、特定のパrameter値では性能が著しく低下する深層学習ベースのパrameter推定器におけるバイアス問題に対処すること。
• 深層学習を用いてバイアス制約を導入することで、古典的な線形推定理論（例：ガウス＝マルコフ）を非線形設定に拡張すること。
• 未知パラメータのすべての値に対して、推定器が漸近的に不偏かつ最小分散となる学習フレームワークを構築すること。
• 分散センサネットワークやテスト時データ拡張などのアンサンブル平均を伴う応用分野における性能向上を図ること。

提案手法

• 訓練中にすべてのパrameter値における推定器の期待バイアスをペナルティ化するバイアス制約損失関数を導入する。
• 反復的精錬を備えたニューラルネットワークアーキテクチャを採用し、推定器が内部パラメータ（例：αおよびvベクトル）を50イテレーションにわたり完全結合ネットワークを用いて更新する。
• 共分散パラメータを一様にサンプリングし、ゼロ平均ガウス分布から複数の観測値を生成する合成データ生成パイプラインを採用する。
• ハードラベル交差エントロピーとバイアス正則化（L_bias）を組み合わせた修正損失を適用し、拡張データ全体にわたって出力の不偏性を強制する。
• 教師ネットワークを用いた温度スケーリングされたソフトラベル生成プロセスを採用し、蒸留用に高品質なソフトラベルを生成する。
• バッチ単位でのバイアス計算を用いて、各バッチにおけるバイアスの平均がゼロになるように制御しながら、ハードラベル交差エントロピーとバイアス正則化の組み合わせで学生ネットワークを訓練する。

Figure 1: Bias of SNR, MSE of SNR and MSE of inverse SNR.

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの推定器は、すべてのパrameter値において漸近的に不偏かつ低分散を達成できるか？
• RQ2 損失関数にバイアス正則化を組み込むことで、推定器が漸近的にクラーマー・ラオ限界に到達するか？
• RQ3 BCEフレームワークは、標準的なMSE最小化ネットワークと比較して、信号対雑音比（SNR）および共分散推定においてどのように性能を向上させるか？
• RQ4 BCEは、データ拡張や分散センサ統合などのアンサンブル平均の場面でも一貫性を保証できるか？

主な発見

• 提案されたバイアス制約推定器（BCE）は、訓練に用いられる事前分布にかかわらず、すべてのパrameter値において漸近的に最小分散不偏推定量（MVUE）を達成する。
• BCEは漸近的にクラーマー・ラオ限界に到達し、不偏推定量における平均二乗誤差の理論的下限に達していることを示している。
• SNR推定および共分散推定タスクにおいて、BCEは標準的なMSE最小化深層学習推定器を著しく上回り、特に多様なパrameter値におけるバイアス低減の面で優れた性能を示している。
• テスト時データ拡張において、BCEは複数の推定値を平均化した際に漸近的に一貫性のある推定器を提供し、標準的な学習ベースの手法を上回っている。
• 温度スケーリングされたソフトラベル蒸留を用いたBCEフレームワークは、CIFAR-10画像分類においてより高い精度と低い分散を達成し、データ拡張にわたるロバスト性が向上している。
• 実験的結果から、バイアス損失におけるλ=1000を用いることで、安定した収束が得られ、全体の性能を劣化させることなくバイアスが一貫して低減されていることが示された。

Figure 2: Scatter plot of MSEs ordered by CRB values. In (a) the tested $\boldsymbol{y}$ ’s are generated from the training distribution. In (b) the test distribution is different. BCE is near-MVUE and close to the CRB for both distributions, whereas EMMSE is better in (a) and weaker in (b).