[論文レビュー] How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks

Alexander Wong, Xiaoyu Wang+1 more|arXiv (Cornell University)|Sep 12, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用数 16

ひとこと要約

本論文は、正しく予測した場合と誤って予測した場合の信頼度の挙動に基づき、深層ニューラルネットワークの信頼性を解釈可能で行動ベースに定量化するメトリクスのスイートを導入する。これには、質問・回答の信頼度、信頼度密度、信頼度スケーラム、NetTrustScore が含まれ、全体の信頼性を評価する。ImageNet で評価された結果、ResNet や EfficientNet などのモデルにおける信頼性の低下箇所に関する重要な洞察が得られ、ミッションクリティカルな応用分野における実世界での展開に向けたスケーラブルなフレームワークを提供する。

ABSTRACT

A critical step to building trustworthy deep neural networks is trust quantification, where we ask the question: How much can we trust a deep neural network? In this study, we take a step towards simple, interpretable metrics for trust quantification by introducing a suite of metrics for assessing the overall trustworthiness of deep neural networks based on their behaviour when answering a set of questions. We conduct a thought experiment and explore two key questions about trust in relation to confidence: 1) How much trust do we have in actors who give wrong answers with great confidence? and 2) How much trust do we have in actors who give right answers hesitantly? Based on insights gained, we introduce the concept of question-answer trust to quantify trustworthiness of an individual answer based on confident behaviour under correct and incorrect answer scenarios, and the concept of trust density to characterize the distribution of overall trust for an individual answer scenario. We further introduce the concept of trust spectrum for representing overall trust with respect to the spectrum of possible answer scenarios across correctly and incorrectly answered questions. Finally, we introduce NetTrustScore, a scalar metric summarizing overall trustworthiness. The suite of metrics aligns with past social psychology studies that study the relationship between trust and confidence. Leveraging these metrics, we quantify the trustworthiness of several well-known deep neural network architectures for image recognition to get a deeper understanding of where trust breaks down. The proposed metrics are by no means perfect, but the hope is to push the conversation towards better metrics to help guide practitioners and regulators in producing, deploying, and certifying deep learning solutions that can be trusted to operate in real-world, mission-critical scenarios.

研究の動機と目的

• 医療、金融、自律システムなどミッションクリティカルな分野における信頼できる深層ニューラルネットワークの必要性に対応する。
• 高い複雑性、解釈性の低さ、正答の証拠との整合性の欠如といった、既存の信頼度定量化手法の限界を特定する。
• 正しく予測した場合と誤って予測した場合の信頼度の挙動に基づき、深層ニューラルネットワークの全体の信頼性をシンプルかつ解釈可能に評価するフレームワークを開発する。
• 規制適合性と実世界のAI展開における実務家の意思決定を支援する、スケーラブルでデータ駆動型の信頼度定量化アプローチを提供する。

提案手法

• 正しく予測した場合と誤って予測した場合の信頼度レベルに基づき、個々の予測に対する信頼度を定量化する「質問・回答の信頼度」を導入する。
• 個々の回答シナリオにおける信頼度スコアの分布を特徴付ける「信頼度密度」を定義する。これにより、一貫したまたは一貫しない信頼度のパターンが明らかになる。
• 全般的な信頼度を、正しく予測した場合と誤って予測した場合を含む、あらゆる可能な回答シナリオの範囲で視覚的かつ分析的に表現する「信頼度スケーラム」を提案する。
• すべての予測にわたる信頼度を集約するスカラーメトリクスとしての NetTrustScore を開発し、モデル間の比較や認証を可能にする。
• ベイジアン推論や複雑なキャリブレーションを必要とせず、深層ニューラルネットワークの信頼度スコアを活用することで、広範な適用可能性を確保する。
• ImageNet のサブセットを用いて、代表的な画像認識モデル（例：ResNet、EfficientNet）にこのフレームワークを適用し、信頼度挙動を実証的に評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の信頼と自信に関する心理的理解と整合する形で、深層ニューラルネットワークの予測に対する信頼度をどのように定量化できるか。
• RQ2 ネットワークが正しく予測している場合と誤って予測している場合において、予測の信頼度が信頼度にどのように影響を与えるか。
• RQ3 正しく予測した場合と誤って予測した場合を含む、あらゆる可能な予測結果のスケールにわたって、信頼度をどのように表現できるか。
• RQ4 1つのスカラーメトリクスが、多様な予測シナリオにわたる深層ニューラルネットワーク全体の信頼性を効果的に要約できるか。
• RQ5 信頼度の低下はどこで発生するのか。信頼度密度とスケーラム分析を用いて、これを体系的に特定できるか。

主な発見

• 特に NetTrustScore が、複数のアーキテクチャにわたる深層ニューラルネットワーク全体の信頼性をスケーラブルかつ解釈可能に要約する手段を提供する。
• 信頼度スケーラムは明確な行動的パターンを明らかにした。誤って予測した場合に高い信頼度を示すモデルは、高信頼度であるにもかかわらず信頼性が低いことが判明し、信頼と過信に関する社会心理学的知見と整合的であった。
• 信頼度密度分析により、特に adversarial サンプルや分布外のサンプルのような特定の入力シナリオで信頼度が一貫して低く、潜在的な失敗要因が特定された。
• ResNet や EfficientNet などのモデルは、NetTrustScore を用いることで、標準的な正答率メトリクスを超えて信頼性の違いを直接比較可能となった。
• このフレームワークにより、誤って予測した場合に高い信頼度を示すことが、正答率が高くても信頼性を著しく損なうことが明らかになった。
• これらのメトリクスは柔軟性があり、将来的なタスク（例：自然言語処理、オブジェクト検出、時系列予測）やさまざまな信頼度表現への適用が可能である。