[논문 리뷰] Output-Constrained Bayesian Neural Networks

Wanqian Yang, Lars Lorch외 6명|arXiv (Cornell University)|2019. 05. 15.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 10

한 줄 요약

이 논문은 기능적 제약 조건—즉, 긍정적(희망하는 출력) 및 부정적(금지된 출력) 제약 조건—을 이해할 수 있는 사전 분포를 통해 베이지안 신경망 프레임워크에 직접 통합하는 출력제약 베이지안 신경망(OC-BNNs)을 소개한다. 함수 공간에서 이러한 제약 조건을 강제로 적용함으로써 OC-BNNs는 예측 정확도를 유지하면서도 타당하지 않은 예측을 크게 줄였다. 이는 의료 및 로봇 공학 분야의 응용에서 표준 BNN 대비 최대 18.4% 감소한 제약 위반을 통해 입증되었다.

ABSTRACT

Bayesian neural network (BNN) priors are defined in parameter space, making it hard to encode prior knowledge expressed in function space. We formulate a prior that incorporates functional constraints about what the output can or cannot be in regions of the input space. Output-Constrained BNNs (OC-BNN) represent an interpretable approach of enforcing a range of constraints, fully consistent with the Bayesian framework and amenable to black-box inference. We demonstrate how OC-BNNs improve model robustness and prevent the prediction of infeasible outputs in two real-world applications of healthcare and robotics.

연구 동기 및 목표

• 표준 베이지안 신경망이 매개변수 공간에만 전문 지식을 통합하는 데 한계가 있다는 문제를 해결하기 위해.
• 해부학적으로 타당한 관절 각도나 임상적으로 위험한 행동과 같은 기능적 제약 조건을 모델의 사전 분포에 직접 통합할 수 있는 방법을 개발하기 위해.
• 예측이 사용자가 정의한 타당한 출력 영역 내에 머물도록 보장하면서도 블랙박스 추론 알고리즘과의 호환성을 유지하기 위해.
• 낮은 데이터, 높은 위험도를 지닌 분야—예를 들어 임상 의사결정 지원 및 인간 운동 예측—에서 모델의 강건성과 안전성을 향상시키기 위해.

제안 방법

• 예측이 반드시 존재하거나 존재해서는 안 되는 입력-출력 공간 내 영역을 정의하는 제약 사전 분포를 도입한다. 이는 긍정적 제약(희망하는 출력)과 부정적 제약(금지된 출력)을 사용한다.
• 금지된 출력 영역에서는 거의 영확률 질량이 되도록, 희망하는 영역에서는 높은 확률이 되도록, 수정된 사전 분포를 통해 사후 예측 분포를 설정한다.
• 스토캐스틱 기울기 랭그반 동역학(SGLD) 및 변분 추론과 같은 표준 블랙박스 추론 기법과 완전히 호환된다.
• 제약 조건은 출력 공간에 대한 기능적 사전 분포로서 표현되며, 이는 네트워크 아키텍처를 변경하지 않고도 도메인 특화 지식을 존중할 수 있도록 한다.
• 훈련 중 제약 위반을 미분 가능하게 최적화하기 위해 재구성 기법을 사용한다.
• 이 방법은 회귀 및 분류 작업 모두에 적용 가능하며, 특히 물리적 또는 생리적 범위를 강제로 지키는 데서 회귀 작업에서 부정적 제약 조건이 매우 효과적이다.

실험 결과

연구 질문

• RQ1 해부학적으로 타당한 관절 각도나 임상적으로 위험한 행동과 같은 기능적 제약 조건을 이해할 수 있는 사전 분포를 사용해 베이지안 신경망에 효과적으로 통합할 수 있는가?
• RQ2 이러한 제약 조건을 통합함으로써 실생활 고차원 데이터셋에서 예측 성능와 불확실성 캘리브레이션에 어떤 영향을 미치는가?
• RQ3 안전이 중요한 응용 분야에서 표준 BNN 대비 제약 사전 분포가 타당하지 않은 예측의 확률을 얼마나 줄이는가?
• RQ4 훈련 데이터가 제약 영역 내에 존재할 경우, 베이지안 업데이트 과정에서 사전 분포의 영향력은 어떻게 영향을 받는가?
• RQ5 전문 지식을 기반으로 타당한 출력 값에 대한 믿음을 통합함으로써 OC-BNNs가 데이터가 부족한 영역에서 암묵적인 누락 데이터 보정을 수행할 수 있는가?

주요 결과

• 인간 운동 예측에서 OC-BNNs는 타당하지 않은 관절 각도 영역에 대한 예측 비율을 BNN의 18.447%에서 OC-BNN의 0.000%로 감소시켜 거의 완벽한 제약 준수를 보였다.
• OC-BNN은 보류된 로그 우도 값이 -683.697이었고, BNN은 101.129였으며, 이는 더 높은 RMSE에도 불구하고 불확실성 캘리브레이션 향상을 나타낸다.
• 임상 의사결정 지원 작업에서, OC-BNN은 훈련 데이터에 드물게 존재하는 특정 생리적 입력에 대해 위험한 행동 예측을 성공적으로 방지했다.
• 예측 정확도(RMSE로 측정)를 유지하면서도 제약 위반을 극적으로 줄여, 안전성과 성능가 서로 배타적이지 않음을 보여주었다.
• 제약 영역 내에 충분한 훈련 데이터가 존재할 경우, 베이지안 업데이트 원칙에 따라 사전 분포의 영향력이 예상대로 감소함을 확인하여, 방법의 베이지안 원칙에 대한 일관성을 입증했다.
• 데이터가 부족한 영역에서 타당한 출력 값에 대한 전문 지식을 통합함으로써 암묵적인 데이터 보정이 가능해졌으며, 이는 명시적 데이터 수정 없이도 가능하다.