[論文レビュー] Loss-Calibrated Approximate Inference in Bayesian Neural Networks

Adam D. Cobb, Stephen Roberts+1 more|arXiv (Cornell University)|May 10, 2018

Anomaly Detection Techniques and Applications参考文献 11被引用数 32

ひとこと要約

本稿では、ベイジアン決定理論を用いてタスク固有の利益関数を組み込むことで、非対称な誤差コストに対応するための損失補正付き証拠下界（ELBO）を提案する。この手法により、予測品質が向上し、セマンティックセグメンテーションにおけるペルソナや車両といった高コストのクラスで、標準的および重み付き交差エントロピーのベースラインを上回る性能を達成する。目的関数に利益依存性を導入することで、期待利益が向上し、特に自動運転分野の高リスククラスにおいて優れた性能を発揮する。

ABSTRACT

Current approaches in approximate inference for Bayesian neural networks minimise the Kullback-Leibler divergence to approximate the true posterior over the weights. However, this approximation is without knowledge of the final application, and therefore cannot guarantee optimal predictions for a given task. To make more suitable task-specific approximations, we introduce a new loss-calibrated evidence lower bound for Bayesian neural networks in the context of supervised learning, informed by Bayesian decision theory. By introducing a lower bound that depends on a utility function, we ensure that our approximation achieves higher utility than traditional methods for applications that have asymmetric utility functions. Furthermore, in using dropout inference, we highlight that our new objective is identical to that of standard dropout neural networks, with an additional utility-dependent penalty term. We demonstrate our new loss-calibrated model with an illustrative medical example and a restricted model capacity experiment, and highlight failure modes of the comparable weighted cross entropy approach. Lastly, we demonstrate the scalability of our method to real world applications with per-pixel semantic segmentation on an autonomous driving data set.

研究の動機と目的

• 標準的な近似推論がタスク固有の利益を無視するため、高コストの誤差クラスで性能が劣るという限界を是正すること。
• ベイジアン意思決定理論を近似推論に統合する原理的かつ整合性のある手法を開発し、予測が期待利益を最大化するように保証すること。
• 利益に配慮した学習が、セマンティックセグメンテーションにおける重要なクラスの性能向上に寄与することを実証すること。
• 本手法が、自動運転データセットにおけるピクセル単位のセマンティックセグメンテーションのような大規模な実世界応用にスケーラブルであることを示すこと。

提案手法

• タスク固有の性質を持つ利益関数に依存する新しい証拠下界（ELBO）を提案し、近似をタスクに特化したものにすることで、タスクに無関係な近似とは対照的にする。
• 訓練中に期待利益を最適化する損失補正付きの目的関数を導出する。これは、事後分布へのKLダイバージェンス最小化ではなく、期待利益最大化を目的とする。
• ドロップアウト推論を用いて手法を実装し、新しい目的関数が標準的なドロップアウトに、利益依存のペナルティ項を追加したものと等価であることを示す。
• ベイジアン意思決定理論を用いて、利益で重み付けされた予測分布の積分により最適な予測を選択する。
• 利益マップを用いて、ピクセルごとの期待利益を可視化し、高利益クラス（例：歩行者）の境界がより鋭くなることを示す。
• 合成実験と、SegNet-Basicアーキテクチャを用いたCamVidデータセットにおける実世界のセマンティックセグメンテーションを用いて、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 一般的なダイバージェンス最小化に依存するのではなく、タスク固有の利益関数を組み込むことで、ベイジアンニューラルネットワークにおける近似推論を改善できるか？
• RQ2 利益依存のELBOは、セマンティックセグメンテーションにおける歩行者や車両といった高コストクラスの性能にどのように影響を与えるか？
• RQ3 提案手法は、期待利益および重要クラスの精度において、標準的および重み付き交差エントロピー学習を上回るか？
• RQ4 損失補正付きアプローチは、自動運転分野のセグメンテーションのような大規模な実世界のディープラーニング応用にスケーラブルか？
• RQ5 ノイズのあるラベルやクラス不均衡に直面した場合、利益に無関係な手法（例：重み付き交差エントロピー）の失敗モードは何か？

主な発見

• 損失補正付きBNNは、テスト時の期待利益が0.685に達し、標準モデル（0.619）および重み付き交差エントロピーモデル（0.633）を著しく上回る。
• 歩行者（IOU 0.13）および車両（IOU 0.39）といった高利益クラスでは、標準モデル（0.06および0.28）および重み付きモデル（0.09および0.31）を上回る性能を達成する。
• 低利益クラス（例：道路、歩道、木）においても、競争力あるIOUを維持しており、重要でないクラスへの性能劣化は認められない。
• 利益マップにより、歩行者などの高利益オブジェクトの周囲で境界がより鋭く、正確に検出されていることが確認され、局所化性能の向上が裏付けられる。
• 本手法は、制限されたモデル容量でも、実世界の応用にスケーラブルであり、ピクセル単位のセマンティックセグメンテーションタスクで最先端の性能を達成する。
• 誤差の結果（損失）と誤差の影響（利益）の明確な分離により、ラベルにノイズがある場合でも、重み付き交差エントロピーで見られる過学習の問題を回避する。