[논문 리뷰] BAR: Bayesian Activity Recognition using variational inference

Ranganath Krishnan, Mahesh Subedar외 1명|arXiv (Cornell University)|2018. 11. 08.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 시각적 활동 인식에서 불확실성을 정량화하기 위해 확률적 변분 추론을 사용하는 베이지안 딥러닝 프레임워크를 제안한다. 네트워크 가중치에 대한 사후분포를 근사하고 몬테카를로 샘플링을 활용함으로써, 이 방법은 더 신뢰할 수 있는 신뢰도 추정을 제공하며 Moments-in-Time 데이터셋에서 비베이지안 기준선 대비 정밀도-재현율 AUC를 6.2% 향상시킨다.

ABSTRACT

Uncertainty estimation in deep neural networks is essential for designing reliable and robust AI systems. Applications such as video surveillance for identifying suspicious activities are designed with deep neural networks (DNNs), but DNNs do not provide uncertainty estimates. Capturing reliable uncertainty estimates in safety and security critical applications will help to establish trust in the AI system. Our contribution is to apply Bayesian deep learning framework to visual activity recognition application and quantify model uncertainty along with principled confidence. We utilize the stochastic variational inference technique while training the Bayesian DNNs to infer the approximate posterior distribution around model parameters and perform Monte Carlo sampling on the posterior of model parameters to obtain the predictive distribution. We show that the Bayesian inference applied to DNNs provide reliable confidence measures for visual activity recognition task as compared to conventional DNNs. We also show that our method improves the visual activity recognition precision-recall AUC by 6.2% compared to non-Bayesian baseline. We evaluate our models on Moments-In-Time (MiT) activity recognition dataset by selecting a subset of in- and out-of-distribution video samples.

연구 동기 및 목표

• 안전 중심의 시각적 활동 인식 응용 분야에서 신뢰할 수 있는 불확실성 추정의 부족을 해결하기 위해.
• 예측 불확실성과 신뢰도를 모델링하기 위해 변분 추론을 활용한 베이지안 딥러닝을 활동 인식에 적용하기 위해.
• 표준 딥러닝 네트워크와 비교해 베이지안 DNN가 잘못된 예측과 분포 외 샘플을 더 잘 식별할 수 있는지 평가하기 위해.
• BALD 및 예측 엔트로피 지표를 사용해 불확실성 정량화에서 향상된 성능을 입증하기 위해.

제안 방법

• 학습 중에 딥러닝 네트워크 가중치에 대한 사후분포를 근사하기 위해 확률적 변분 추론을 활용한다.
• 새로운 입력에 대한 예측 분포를 계산하기 위해 추론된 사후분포에 대한 몬테카를로 샘플링을 수행한다.
• 변분 파rameter를 기반으로 한 최적화를 위해 증거 하한 경계(ELBO) 목적함수를 적용한다.
• 모델의 불확실성을 정량화하기 위해 예측 엔트로피와 BALD(Bayesian Active Learning by Disagreement)를 사용한다.
• Moments-in-Time 데이터셋의 트림드 비디오 클립에 대해 3D 컨볼루션 네트워크(C3D) 아키텍처를 훈련시킨다.
• SoftMax 확률을 사용해 베이지안 DNN(변분 추론 및 MC 드롭아웃을 통한)과 표준 DNN 간의 불확실성 추정을 비교한다.

실험 결과

연구 질문

• RQ1 베이지안 DNN에서 확률적 변분 추론이 시각적 활동 인식에서 표준 DNN보다 더 신뢰할 수 있는 신뢰도 추정을 제공할 수 있는가?
• RQ2 예측 불확실성 측도를 사용해 베이지안 DNN가 분포 내 및 분포 외 비디오 샘플을 얼마나 잘 구분하는가?
• RQ3 제안된 베이지안 프레임워크가 비베이지안 DNN 기준선 대비 정밀도-재현율 AUC를 향상시키는가?
• RQ4 BALD와 예측 엔트로피 지표는 올바른 예측과 잘못된 예측에 대해 불확실성을 얼마나 잘 포착하는가?

주요 결과

• 확률적 변분 추론을 사용한 베이지안 DNN는 Moments-in-Time 데이터셋에서 비베이지안 DNN 기준선 대비 정밀도-재현율 AUC를 6.2% 향상시켰다.
• 몬테카를로 샘플링을 통한 예측 평균 확률은 잘못된 예측에 대해 낮은 신뢰도를 보였으며, 이는 표준 DNN의 과신뢰적인 SoftMax 확률과 대조된다.
• 베이지안 DNN는 분포 외 샘플에 대해 상당히 낮은 신뢰도를 보였으며, 특히 확률적 변분 추론 방법이 MC 드롭아웃보다 더 뚜렷한 낮은 신뢰도 값에 대한 피크를 보였다.
• BALD 및 예측 엔트로피 측도는 분포 내 및 분포 외 샘플을 명확히 분리했으며, 확률적 변분 추론이 MC 드롭아웃보다 더 우수한 피크 분리 성능을 보였다.
• 신뢰도 및 불확실성 측도의 밀도 히스토그램은 베이지안 모델이 잘못된 예측 및 OOD 예측에 대해 신뢰성 있게 불확실성을 포착하고 있음을 확인했다.