[論文レビュー] Output-Constrained Bayesian Neural Networks

Wanqian Yang, Lars Lorch+6 more|arXiv (Cornell University)|May 15, 2019

Gaussian Processes and Bayesian Inference参考文献 11被引用数 10

ひとこと要約

本稿では、出力制約を直接ベイジアンニューラルネットワークフレームワークに埋め込む「出力制約付きベイジアンニューラルネットワーク（OC-BNNs）」を提案する。この手法は、解釈可能な事前分布を用いて、関数空間における制約（好ましい出力＝正の制約、禁止される出力＝負の制約）を直接統合する。関数空間に制約を課すことで、予測の不実行領域を著しく削減しつつ、予測精度を維持する。医療やロボット工学の応用において、標準的なBNNと比較して制約違反が最大18.4%減少することを実証した。

ABSTRACT

Bayesian neural network (BNN) priors are defined in parameter space, making it hard to encode prior knowledge expressed in function space. We formulate a prior that incorporates functional constraints about what the output can or cannot be in regions of the input space. Output-Constrained BNNs (OC-BNN) represent an interpretable approach of enforcing a range of constraints, fully consistent with the Bayesian framework and amenable to black-box inference. We demonstrate how OC-BNNs improve model robustness and prevent the prediction of infeasible outputs in two real-world applications of healthcare and robotics.

研究の動機と目的

• 標準的なベイジアンニューラルネットワークが関数空間に関する専門知識を統合できないという限界に対処すること。通常、このような知識はパrameter空間にのみエンコードされる。
• 解釈可能な事前分布を用いて、解剖学的に妥当な関節角や臨床的に危険な行動といった、関数的制約をモデルの事前分布に直接埋め込む手法を開発すること。
• ブラックボックス推論アルゴリズムとの互換性を保ちつつ、予測がユーザー定義の実行可能出力領域内に留まるようにすること。
• 低データ、高リスク分野（例：臨床意思決定支援、人間の運動予測）におけるモデルのロバスト性と安全性を向上させること。

提案手法

• 正の制約（望ましい出力）と負の制約（禁止される出力）を用いて、入力-出力空間における予測が存在してはならない領域や、存在すべき領域を定義する制約事前分布を導入する。
• 修正された事前分布を介して、禁止された出力領域では確率質量がほぼゼロ、望ましい領域では高い確率が得られるように、事後予測分布を定式化する。
• 確立されたブラックボックス推論手法（例：確率的勾配ランジュヴィンダイナミクス（SGLD）や変分推論）と完全に互換性を持つ。
• 制約は出力空間における関数的事前分布としてエンコードされ、ネットワークアーキテクチャを変更せずにドメイン固有の知識を尊重できる。
• トレーニング中に制約違反を微分可能に最適化できるように、再パrameter化トリックを用いる。
• 回帰および分類タスクの両方をサポートする。特に回帰では、物理的または生理的境界を強制するために負の制約が顕著に有効である。

実験結果

リサーチクエスチョン

• RQ1 解剖学的に妥当な関節角や臨床的に危険な行動といった、関数的制約を解釈可能な事前分布を用いてベイジアンニューラルネットワークに効果的に埋め込むことができるか？
• RQ2 このような制約の組み込みが、現実世界の高次元データセットにおける予測性能と不確実性のキャリブレーションにどのように影響するか？
• RQ3 安全性が重要な応用において、標準的なBNNと比較して、制約事前分布が不実行予測の確率をどの程度低減するか？
• RQ4 トレーニングデータが制約領域内に十分に存在する場合、ベイジアン更新プロセスにおいて事前分布の影響がどのように変化するか？
• RQ5 OC-BNNsを用いて、欠損データを暗黙的に補完することができるか？具体的には、データが乏しい領域における妥当な出力値に関する専門家の信念をエンコードできるか？

主な発見

• 人間の運動予測タスクにおいて、OC-BNNsは不実行関節角領域における予測の割合を、BNNの18.447%からOC-BNNの0.000%にまで削減し、ほぼ完全な制約遵守を実現した。
• ホールドアウトされた対数尤度は、OC-BNNが-683.697、BNNが101.129であった。これは、RMSEが高めであっても不確実性のキャリブレーションが向上したことを示している。
• 臨床意思決定タスクにおいて、OC-BNNは、訓練データにほとんど存在しなかったにもかかわらず、特定の生理的入力に対して危険な行動の予測を完全に回避した。
• 制約違反の大幅な削減を達成しながらも、予測精度（RMSE）を維持した。安全性と性能が相反するものではないことを示した。
• 制約領域内に十分なトレーニングデータが存在した場合、ベイジアン更新の期待通りに事前分布の影響が低下した。これは、本手法がベイジアン原理と整合的であることを確認した。
• データが乏しい領域における妥当な出力値に関する専門家の知識をエンコードすることで、明示的なデータ変更なしに暗黙的なデータ補完が可能であることを示した。