[論文レビュー] Maximum Likelihood Uncertainty Estimation: Robustness to Outliers

Deebul S. Nair, Nico Hochgeschwender+1 more|arXiv (Cornell University)|Feb 3, 2022

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本稿では、回帰タスクにおけるラベルの外れ値に対するロバスト性を向上させるために、最尤推定における不確実性評価にラプラス分布を用いる手法を提案する。標準的なガウス損失に代えて、重たい尾部を持つラプラス損失を採用することで、学習中に外れ値の影響を軽減し、より正確でキャリブレーションのとれた不確実性推定が得られる。これにより、分布外検出および敵対的攻撃検出の性能が向上する。特に単眼深度推定のような高次元タスクにおいて顕著である。

ABSTRACT

We benchmark the robustness of maximum likelihood based uncertainty estimation methods to outliers in training data for regression tasks. Outliers or noisy labels in training data results in degraded performances as well as incorrect estimation of uncertainty. We propose the use of a heavy-tailed distribution (Laplace distribution) to improve the robustness to outliers. This property is evaluated using standard regression benchmarks and on a high-dimensional regression task of monocular depth estimation, both containing outliers. In particular, heavy-tailed distribution based maximum likelihood provides better uncertainty estimates, better separation in uncertainty for out-of-distribution data, as well as better detection of adversarial attacks in the presence of outliers.

研究の動機と目的

• ノイズのあるラベルや外れ値を含む学習データにおいて、深層回帰における不確実性推定の不正確さという課題に対処すること。
• 推論コストが低いためリアルタイムの自律システムで好まれる単一モデルの不確実性推定手法のロバスト性を向上させること。
• 特に単眼深度推定のような高次元回帰タスクにおける、現実的なデータ汚染下での不確実性推定の性能を評価すること。
• 外れ値の悪影響を軽減するための解決策として、特にラプラス分布を含む重たい尾部を持つ分布の有効性をベンチマークすること。
• ラプラスに基づく最尤損失が、ガウス分布および証拠的ベースラインと比較して、分布外サンプルおよび敵対的入力の検出性をどのように向上させるかを実証すること。

提案手法

• 予測不確実性をモデル化するために、ラプラス分布の負の対数尤度を用いた最尤損失関数を定式化する。
• ラプラス分布の重たい尾部特性を活用し、ガウス分布と比較して大きな誤差に対して損失を低く設定することで、学習中に外れ値の影響を軽減する。
• 1回の順伝播で出力分布の平均とスケール（標準偏差）を予測する1つの深層ニューラルネットワークを、ラプラス損失で学習する。
• 標準回帰ベンチマークおよびNYU-Depth-v2データセット上で、ラプラスベース手法をガウス分布および証拠的（Evidential Deep Learning）ベースラインと比較する。
• 信頼性図、エントロピーに基づく不確実性評価、および分布内と分布外の予測の間の分離性を統計的検定で評価することで、不確実性のキャリブレーションを評価する。
• FGSM摂動を適用し、摂動強度（ε）を増加させた際の不確実性の増加（エントロピー）を測定することで、敵対的攻撃に対する耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練データに外れ値が含まれる場合、特にガウス分布に基づく最尤損失を用いた不確実性推定のロバスト性はどのように劣化するか？
• RQ2 ガウス分布とは異なり、外れ値に対してロバストな不確踈性推定を実現できるか、重たい尾部を持つ分布（例：ラプラス分布）を用いることで、ラベルノイズ下でも性能が向上するか？
• RQ3 ラプラスに基づく損失関数は、不確実性スコアの観点から、分布内と分布外の予測の間でより良い分離を達成するか？
• RQ4 さまざまな摂動レベルにおいて、ラプラスベースの不確実性推定は敵対的サンプルの検出にどの程度有効か？
• RQ5 外れ値が存在する状況下でも、複数回の訓練試行において、提案手法がキャリブレーションのとれた不確実性推定を維持できるか？

主な発見

• 信頼性図およびエントロピーに基づく評価により、ラプラスに基づく損失関数は、ガウス分布および証拠的手法と比較して、特に外れ値率が高い状況下で不確実性のキャリブレーションが著しく向上することが示された。
• 10%の外れ値を含むNYU-Depth-v2データセットにおいて、ラプラス手法は良好にキャリブレーションされた不確実性推定を維持している一方、ガウス手法は深刻なキャリブレーションの不備を示した。
• テストされた手法の中で、ラプラス手法が最大のブレイクアウェイポイントを達成しており、学習中の外れ値汚染に対する耐性が優れていることが示された。
• ラプラスベースのモデルは、分布内と分布外（ApolloScape）データの間で不確実性エントロピーに統計的に有意な分離を示し、信頼性の高い分布外検出が可能であることを裏付けた。
• FGSM敵対的摂動（ε）を増加させると、ラプラス手法はエントロピーが単調に増加する傾向を示し、他の手法と比較して敵対的入力の検出性が向上していることが示された。
• 複数の独立した試行において、ラプラス手法は一貫して信頼性が高くばらつきが小さい不確実性推定を生成し、ガウスおよび証拠的ベースラインと比較して、ロバスト性およびキャリブレーションの観点で優れた性能を示した。