[논문 리뷰] Incorporating Interpretable Output Constraints in Bayesian Neural Networks

Wanqian Yang, Lars Lorch외 3명|arXiv (Cornell University)|2020. 10. 21.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 6

한 줄 요약

이 논문은 출력 제약 조건(예: 임상 규칙 또는 공정성 기준)을 샘플링 기반 사전 확률을 통해 베이지안 신경망에 통합하는 프레임워크인 출력 제약 베이지안 신경망(OC-BNNs)을 제안한다. 이 방법은 후행 예측이 제약 조건을 충족하도록 보장하면서도 블랙박스 추론을 가능하게 하며, 의료, 범죄 정책, 신용 평가 과제에서 제약 조건 준수와 불확실성 캘리브레이션 향상이 입증되었다.

ABSTRACT

Domains where supervised models are deployed often come with task-specific constraints, such as prior expert knowledge on the ground-truth function, or desiderata like safety and fairness. We introduce a novel probabilistic framework for reasoning with such constraints and formulate a prior that enables us to effectively incorporate them into Bayesian neural networks (BNNs), including a variant that can be amortized over tasks. The resulting Output-Constrained BNN (OC-BNN) is fully consistent with the Bayesian framework for uncertainty quantification and is amenable to black-box inference. Unlike typical BNN inference in uninterpretable parameter space, OC-BNNs widen the range of functional knowledge that can be incorporated, especially for model users without expertise in machine learning. We demonstrate the efficacy of OC-BNNs on real-world datasets, spanning multiple domains such as healthcare, criminal justice, and credit scoring.

연구 동기 및 목표

• 기존 사전 확률이 매개변수 공간에서 해석하기 어려운 상황에서, 임상 규칙 또는 공정성 제약 조건과 같은 도메인 특화 해석 가능한 기능 지식을 베이지안 신경망(BNNs)에 통합하는 문제를 해결하기 위해.
• 불확실성 정량화와 일관성을 유지하면서 베이지안 설정에서 출력 제약 조건을 형식화한 추론을 위한 확률적 프레임워크를 개발하기 위해.
• 기계학습 전문 지식이 없는 도메인 전문가가 직접 기능 형태로 의미 있는 제약 조건을 지정할 수 있도록 하기 위해.
• 의료, 범죄 정책, 신용 평가 분야에서 고차원 실세계 데이터셋에 대해 OC-BNNs의 실용적 유용성을 입증하기 위해.

제안 방법

• 사용자 정의 출력 제약 조건이 입력 공간 전역에서 얼마나 잘 충족되는지 평가함으로써 샘플링 기반 사전 확률을 구축한다.
• 예측 결과가 지정된 제약 조건과 일치하는 BNN 매개변수에 대해 더 높은 확률을 할당함으로써, 후행 분포가 제약 조건을 충족하는 함수 쪽으로 편향되도록 한다.
• 공유된 제약 인식 사전 확률을 통해 단일 작업 및 다중 작업에 대한 암시적 추론을 모두 지원한다.
• 스토하스틱 기울기 랭그비안 동역학(SGLD)과 같은 블랙박스 BNN 추론 알고리즘과 완전히 호환되어 스케일러블 학습이 가능하다.
• 제약 조건은 $ y \in [a,b] $, 단조성, 또는 알려진 공식과의 등가성과 같은 출력에 대한 기능 조건으로 표현되며, 샘플링 중 평가된다.
• 구조적 수정이 필요 없이 회귀 및 분류 과제 모두에 일반화 가능하다.

실험 결과

연구 질문

• RQ1 임상 규칙 또는 공정성 기준과 같은 해석 가능한 출력 제약 조건을 불확실성 정량화를 희생시키지 않고 베이지안 신경망에 효과적으로 통합할 수 있는가?
• RQ2 기능 지식으로 표현된 제약 조건을 블랙박스 추론에 적합한 BNN 매개변수에 대한 사전 확률로 변환할 수 있는가?
• RQ3 출력 제약 조건을 강제 적용함으로써 실세계 고위험 응용 분야(예: 의료 및 범죄 정책)에서 모델 행동이 향상되는가?
• RQ4 예측 정확도, 불확실성 캘리브레이션, 제약 조건 준수 측면에서 OC-BNN 프레임워크는 표준 BNN과 어떻게 비교되는가?
• RQ5 정밀도나 계산 가능성을 잃지 않고도 다중 작업 간에 제약 조건 강제 적용 메커니즘을 암시적으로 일반화할 수 있는가?

주요 결과

• 임상 행동 예측 과제에서 OC-BNN은 BNN (Full)의 0.419 및 BNN (Blind)의 0.529에 비해 가장 낮은 복귀 노력(0.379)을 기록하여 실제 간병 조치와의 일치도가 높았다.
• 편향된 학습 데이터를 사용한 재범 예측 과제에서 OC-BNN은 인종 공정성 제약 조건을 성공적으로 강제 적용하여 모델 편향을 수정하면서도 정확도를 유지했다.
• 신용 평가 과제에서 OC-BNN은 복귀 노력 감소와 소수집단에 대한 공정성 향상을 달성하여 제약 기반 정규화의 효과를 입증했다.
• 모든 모델가 유사한 테스트 정확도(0.890–0.895)를 기록하여 제약 조건 강제 적용으로 인한 예측 성능 저하가 없음을 확인했다.
• OC-BNN은 낮은 데이터 영역에서도 적절한 불확실성 정량화를 유지하고 잘 캘리브레이션된 후행 예측을 생성했다.
• 샘플링 기반 사전 확률은 다양한 실세계 데이터셋에서 효과적인 제약 조건 강제 적용을 가능하게 하여 프레임워크의 일반성과 실용성을 검증했다.