[논문 리뷰] Trusted Multi-View Classification

Zongbo Han, Changqing Zhang외 2명|arXiv (Cornell University)|2021. 02. 03.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 49

한 줄 요약

이 논문은 Dirichlet 분포와 Dempster-Shafer 이론을 통해 뷰별 증거를 융합하여 신뢰할 수 있는 불확실성 추정과 견고한 예측(또한 분포 외 탐지 포함)을 제공하는 신뢰 가능한 다중 뷰 분류 방법을 제시한다.

ABSTRACT

Multi-view classification (MVC) generally focuses on improving classification accuracy by using information from different views, typically integrating them into a unified comprehensive representation for downstream tasks. However, it is also crucial to dynamically assess the quality of a view for different samples in order to provide reliable uncertainty estimations, which indicate whether predictions can be trusted. To this end, we propose a novel multi-view classification method, termed trusted multi-view classification, which provides a new paradigm for multi-view learning by dynamically integrating different views at an evidence level. The algorithm jointly utilizes multiple views to promote both classification reliability and robustness by integrating evidence from each view. To achieve this, the Dirichlet distribution is used to model the distribution of the class probabilities, parameterized with evidence from different views and integrated with the Dempster-Shafer theory. The unified learning framework induces accurate uncertainty and accordingly endows the model with both reliability and robustness for out-of-distribution samples. Extensive experimental results validate the effectiveness of the proposed model in accuracy, reliability and robustness.

연구 동기 및 목표

• 안전이 중요한 시나리오에서 불확실성 인식이 가능한 다중 뷰 학습의 필요성을 동기 부여한다.
• 특징이나 출력이 아니라 믿음의 수준에서 다중 뷰 증거를 통합하는 통일된 프레임워크를 제안한다.
• OOD 탐지를 포함하여 각 뷰 및 전체 불확실성 추정의 정확성을 높이고 신뢰성과 견고함을 향상시킨다.
• 여러 데이터셋에서 우수한 정확도, 신뢰성 및 견고함을 달성하는 방법을 보여준다.

제안 방법

• 각 뷰를 클래스 확률에 대한 Dirichlet 분포를 매개하는 증거로 모델링한다.
• 주관적 논리를 사용해 뷰 증거를 각 뷰의 믿음 질량과 불확실성 질량과 연관시킨다.
• 뎁슨-셰퍼 이론으로 각 뷰의 믿음을 결합해 합동 믿음과 Dirichlet 매개변수(α)를 얻는다.
• 합동 믿음을 Dirichlet 매개변수(α)로 변환해 최종 클래스 확률과 불확실성을 도출한다.
• ACE(조정된 교차엔트로피)와 KL 발산 항을 결합한 손실로 음수증거를 억제하며 비음수 증거 벡터를 출력하도록 네트워크를 학습한다.
• 모든 뷰에 걸쳐 합동 손실을 통해 다중 작업 방식으로 최적화하고 각 뷰 및 합동 목표를 통합한다.

실험 결과

연구 질문

• RQ1 증거 수준에서 다중 뷰 정보를 융합해 신뢰할 수 있는 예측과 불확실성 추정을 어떻게 생성할 수 있는가?
• RQ2 Dirichlet 기반 증거 모델링과 Dempster-Shafer 융합이 노이즈가 많거나 분포 외 뷰에 대한 견고함을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크가 신뢰할 수 있는 의사결정에 유용한 각 뷰 및 합동 불확실성을 정확하게 제공하는가?

주요 결과

데이터	지표	MCDO	DE	UA	EDL	Ours
Handwritten	ACC	97.37 ± 0.80	98.30 ± 0.31	97.45 ± 0.84	97.67 ± 0.32	98.51 ± 0.15
Handwritten	AUROC	99.70 ± 0.07	99.79 ± 0.05	99.67 ± 0.10	99.83 ± 0.02	99.97 ± 0.00
CUB	ACC	89.78 ± 0.52	90.19 ± 0.51	89.75 ± 1.43	89.50 ± 1.17	91.00 ± 0.42
CUB	AUROC	99.29 ± 0.03	98.77 ± 0.03	98.69 ± 0.39	98.71 ± 0.03	99.06 ± 0.03
PIE	ACC	84.09 ± 1.45	70.29 ± 3.17	83.70 ± 2.70	84.36 ± 0.87	91.99 ± 1.01
PIE	AUROC	98.90 ± 0.31	95.71 ± 0.88	98.06 ± 0.56	98.74 ± 0.17	99.69 ± 0.05
Caltech101	ACC	91.73 ± 0.58	91.60 ± 0.82	92.37 ± 0.72	90.84 ± 0.56	92.93 ± 0.20
Caltech101	AUROC	99.91 ± 0.01	99.94 ± 0.01	99.85 ± 0.05	99.74 ± 0.03	99.90 ± 0.01
Scene15	ACC	52.96 ± 1.17	39.12 ± 0.80	41.20 ± 1.34	46.41 ± 0.55	67.74 ± 0.36
Scene15	AUROC	92.90 ± 0.31	74.64 ± 0.47	85.26 ± 0.32	91.41 ± 0.05	95.94 ± 0.02
HMDB	ACC	52.92 ± 1.28	57.93 ± 1.02	53.32 ± 1.39	59.88 ± 1.19	65.26 ± 0.76
HMDB	AUROC	93.57 ± 0.28	94.01 ± 0.21	91.68 ± 0.69	94.00 ± 0.25	96.18 ± 0.10

• 샘플 외 정확도 및 AUROC가 여섯 개 데이터셋에서 단일 뷰 불확실성 방법을 능가한다.
• 뷰별 불확실성 인식으로 다중 뷰 조건에서 강력한 성능 유지.
• 합친 Dirichlet 증거에서 합동 불확실성과 클래스를 추론할 수 있어 예측에 대한 신뢰 신호를 제공.
• 불확실성은 분포 외 샘플에서 더 높아져 효과적인 OOD 탐지를 지원.
• Scene15, HMDB 등 하드한 장면 및 행동 인식 데이터셋에서 주목할 만한 개선을 보인다.