[論文レビュー] Incorporating Interpretable Output Constraints in Bayesian Neural Networks

Wanqian Yang, Lars Lorch+3 more|arXiv (Cornell University)|Oct 21, 2020

Bayesian Modeling and Causal Inference参考文献 23被引用数 6

ひとこと要約

本稿では、出力制約（臨床ルールや公平性基準など）をユーザーが指定可能な解釈可能な形でベイジアンニューラルネットワークに組み込むフレームワーク、出力制約付きベイジアンニューラルネットワーク（OC-BNNs）を提案する。この手法は、サンプリングに基づく事前分布を用いて、ブラックボックス推論を可能にしつつ、事後予測が制約を満たすことを保証する。医療、犯罪裁判、クレジットスコアリングの各タスクにおいて、制約遵守性と不確実性のキャリブレーションが向上することを示した。

ABSTRACT

Domains where supervised models are deployed often come with task-specific constraints, such as prior expert knowledge on the ground-truth function, or desiderata like safety and fairness. We introduce a novel probabilistic framework for reasoning with such constraints and formulate a prior that enables us to effectively incorporate them into Bayesian neural networks (BNNs), including a variant that can be amortized over tasks. The resulting Output-Constrained BNN (OC-BNN) is fully consistent with the Bayesian framework for uncertainty quantification and is amenable to black-box inference. Unlike typical BNN inference in uninterpretable parameter space, OC-BNNs widen the range of functional knowledge that can be incorporated, especially for model users without expertise in machine learning. We demonstrate the efficacy of OC-BNNs on real-world datasets, spanning multiple domains such as healthcare, criminal justice, and credit scoring.

研究の動機と目的

• 従来の事前分布がパrameter空間で解釈不能であるため、臨床ルールや公平性制約といったドメイン固有の解釈可能な機能的知識を、ベイジアンニューラルネットワーク（BNN）に組み込む課題に対処すること。
• 不確実性の定量的評価と整合性を保ちつつ、ベイジアン設定において出力制約を形式的に扱う確率的フレームワークを構築すること。
• 機械学習の専門知識のないドメインエキスパートが、関数形式そのままで意味のある制約を直接指定できるようにすること。
• 医療、犯罪裁判、クレジットスコアリングの分野における、高次元の実世界データセットを対象に、OC-BNNsの実用的有効性を示すこと。

提案手法

• 入力空間全体で、サンプル化されたBNN出力がユーザー定義の出力制約をどの程度満たすかを評価することで、サンプリングに基づく事前分布を構築する。
• 予測が指定された制約と整合するBNNパラメータに高い確率を割り当てることで、事後分布が制約を満たす関数に偏るようにする。
• 共有の制約に配慮した事前分布を用いることで、単一タスクおよび複数タスクへのアンモタイズド推論をサポートする。
• 確率的勾配リーマン・モナド（SGLD）などのブラックボックスBNN推論アルゴリズムと完全に互換性があり、スケーラブルな学習が可能である。
• 制約は、$ y \in [a,b] $、単調性、既知の式への等価性といった出力上の関数的条件としてエンコードされ、サンプリング中に評価される。
• アーキテクチャの変更なしに、回帰および分類タスクの両方へ一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 臨床ルールや公平性基準といった解釈可能な出力制約を、不確実性の定量的評価を損なわせることなく、ベイジアンニューラルネットワークに効果的に組み込むことができるか？
• RQ2 関数的知識として表現された制約を、ブラックボックス推論に適したBNNパラメータ上の事前分布にどのように変換できるか？
• RQ3 出力制約の強制が、医療や犯罪裁判といった実世界の高リスク応用分野におけるモデル行動を改善するか？
• RQ4 予測精度、不確実性のキャリブレーション、制約遵守性という観点から、OC-BNNフレームワークは標準的なBNNと比べてどのように異なるか？
• RQ5 忠実度や計算の実行可能性に損なわれることなく、複数タスクにわたる制約強制をアンモタイズ化できるか？

主な発見

• 臨床的行動予測タスクでは、OC-BNNが0.379という最小のレコール努力値を達成した。これに対してBNN（Full）は0.419、BNN（Blind）は0.529であった。これは、真の介入に近い行動をとっていることを示している。
• 偏った訓練データを用いた再犯予測タスクでは、OC-BNNが効果的に人種の公平性制約を強制し、モデルバイアスを是正しながらも、精度を損なわずに改善した。
• クレジットスコアリングタスクでは、OC-BNNがレコール努力を低減させ、少数派サブグループの公平性を向上させた。これは、制約に基づく正則化の有効性を示している。
• すべてのモデルが同等のテスト精度（0.890～0.895）を達成しており、制約の強制が予測性能を低下させなかったことが確認された。
• OC-BNNは、低データ領域においても適切な不確実性の定量的評価を維持し、適切にキャリブレートされた事後予測を生成した。
• サンプリングに基づく事前分布により、多様で現実的なデータセットにおいて、効果的な制約強制が実現され、フレームワークの一般性と実用性が裏付けられた。