[논문 리뷰] How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks

Alexander Wong, Xiaoyu Wang외 1명|arXiv (Cornell University)|2020. 09. 12.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 16

한 줄 요약

이 논문은 깊이 신경망의 신뢰성 평가를 위해 질문-답변 신뢰, 신뢰 밀도, 신뢰 스펙트럼, NetTrustScore를 포함한 해석 가능한 행동 기반 신뢰 측정 지표 세트를 소개한다. 이는 올바른 예측과 잘못된 예측에서의 신뢰도 행동을 통해 종합적인 신뢰성 수준을 평가하기 위한 것이다. ImageNet에서 평가한 결과, ResNet 및 EfficientNet 등의 모델에서 신뢰가 어떻게 붕괴되는지에 대한 핵심 통찰을 제공하며, 임무 핵심 응용 분야에서의 실질적 구현을 위한 확장 가능한 프레임워크를 제시한다.

ABSTRACT

A critical step to building trustworthy deep neural networks is trust quantification, where we ask the question: How much can we trust a deep neural network? In this study, we take a step towards simple, interpretable metrics for trust quantification by introducing a suite of metrics for assessing the overall trustworthiness of deep neural networks based on their behaviour when answering a set of questions. We conduct a thought experiment and explore two key questions about trust in relation to confidence: 1) How much trust do we have in actors who give wrong answers with great confidence? and 2) How much trust do we have in actors who give right answers hesitantly? Based on insights gained, we introduce the concept of question-answer trust to quantify trustworthiness of an individual answer based on confident behaviour under correct and incorrect answer scenarios, and the concept of trust density to characterize the distribution of overall trust for an individual answer scenario. We further introduce the concept of trust spectrum for representing overall trust with respect to the spectrum of possible answer scenarios across correctly and incorrectly answered questions. Finally, we introduce NetTrustScore, a scalar metric summarizing overall trustworthiness. The suite of metrics aligns with past social psychology studies that study the relationship between trust and confidence. Leveraging these metrics, we quantify the trustworthiness of several well-known deep neural network architectures for image recognition to get a deeper understanding of where trust breaks down. The proposed metrics are by no means perfect, but the hope is to push the conversation towards better metrics to help guide practitioners and regulators in producing, deploying, and certifying deep learning solutions that can be trusted to operate in real-world, mission-critical scenarios.

연구 동기 및 목표

• 의료, 금융, 자율주행 시스템과 같은 임무 핵심 도메인에서 신뢰할 수 있는 깊이 신경망의 필수적인 필요성을 해결한다.
• 기존의 신뢰 측정 방법의 한계를 특정화한다. 이는 높은 복잡성, 낮은 해석 가능성, 정확성 증거와의 부일치를 포함한다.
• 정확한 예측과 잘못된 예측에서의 신뢰도 행동을 기반으로 깊이 신경망의 종합적 신뢰성 수준을 평가할 수 있는 단순하고 해석 가능한 프레임워크를 개발한다.
• 규제 준수와 실세계 AI 구현에서의 전문가 의사결정 지원을 가능하게 하는 확장 가능한 데이터 기반의 신뢰 측정 접근법을 제공한다.

제안 방법

• 정답일 때와 오답일 때의 신뢰도 수준에 기반해 개별 예측에 대한 신뢰도를 수량화하는 '질문-답변 신뢰'를 도입한다.
• 개별 답변 시나리오에서의 신뢰도 점수 분포를 특성화하는 '신뢰 밀도'를 정의한다. 이는 일관되거나 일관되지 않은 신뢰의 패턴을 드러낸다.
• 모든 가능한 답변 시나리오, 즉 정확한 경우와 잘못된 경우를 포함한 전체 범위에서의 종합적 신뢰도를 시각적·분석적으로 표현하는 '신뢰 스펙트럼'을 제안한다.
• 모든 예측에 걸쳐 신뢰도를 집계하는 스칼라 요약 측정 지표인 NetTrustScore를 개발한다. 이를 통해 모델 간 비교 및 인증이 가능해진다.
• 베이지안 추론이나 복잡한 校정이 필요 없이 깊이 신경망의 신뢰도 점수를 활용함으로써 광범위한 적용 가능성을 확보한다.
• 이 프레임워크를 ResNet, EfficientNet 등의 잘 알려진 이미지 인식 모델에 적용하여 ImageNet의 일부를 사용해 신뢰도 행동을 실증적으로 평가한다.

실험 결과

연구 질문

• RQ1 사람의 신뢰와 자신감에 대한 심리학적 이해와 일치하는 방식으로 깊이 신경망 예측의 신뢰도를 어떻게 수량화할 수 있는가?
• RQ2 네트워크가 정확할 때와 잘못될 때 예측의 자신감이 신뢰 형성에 어떤 역할을 하는가?
• RQ3 정확한 답변과 잘못된 답변을 포함한 모든 가능한 예측 결과의 전반적인 스펙트럼에서 신뢰도는 어떻게 표현될 수 있는가?
• RQ4 단일 스칼라 측정 지표가 다양한 예측 시나리오에서 깊이 신경망의 종합적 신뢰성 수준을 효과적으로 요약할 수 있는가?
• RQ5 깊이 신경망에서 신뢰가 붕괴되는 지점은 어디이며, 이러한 붕괴는 신뢰 밀도와 스펙트럼 분석을 통해 체계적으로 식별될 수 있는가?

주요 결과

• 제안된 신뢰 측정 지표, 특히 NetTrustScore는 다양한 아키텍처를 통해 깊이 신경망의 종합적 신뢰성 수준을 확장 가능하고 해석 가능한 방식으로 요약한다.
• 신뢰 스펙트럼 분석 결과, 잘못된 예측에서 높은 자신감을 보이는 모델들은 높은 자신감에도 불구하고 낮은 신뢰성 수준을 보이며, 이는 신뢰와 과신에 관한 사회심리학 이론과 일치한다.
• 신뢰 밀도 분석을 통해 특히 적대적 예측이나 분포 외 샘플과 같은 특정 입력 시나리오에서 신뢰도가 지속적으로 낮게 나타나는 것을 확인했으며, 이는 잠재적인 실패 지점임을 시사한다.
• ResNet 및 EfficientNet 등의 모델들은 서로 다른 신뢰 프로파일을 보였으며, NetTrustScore를 통해 정확도 지표를 초월해 신뢰성 수준을 직접 비교할 수 있었다.
• 이 프레임워크는 잘못된 예측에서의 높은 자신감이 정확도가 높아 보일지라도 신뢰를 크게 약화시킨다는 점을 성공적으로 규명했다.
• 이 측정 지표들은 다양한 신뢰도 표현 방식과 향후 작업, 예를 들어 NLP, 객체 검출, 시계열 예측 등에 적용 가능하여 유연성을 확보한다.