[論文レビュー] Learning to Predict Trustworthiness with Steep Slope Loss

Yan Luo, Yongkang Wong+2 more|arXiv (Cornell University)|Sep 30, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用数 4

ひとこと要約

本論文は、ImageNetのような大規模なビジョンモデル（ViT や ResNet）における信頼性予測子の汎化性能を向上させるために、新たなスティープスロープ損失関数を提案する。正しく予測した場合と誤って予測した場合の特徴を、反対方向のスライド状曲線で分離することで、真正陽性率（TPR）と真正陰性率（TNR）のトレードオフを改善し、交差エントロピー損失、フォーカル損失、真のクラス確率損失を著しく上回る性能を達成する。

ABSTRACT

Understanding the trustworthiness of a prediction yielded by a classifier is critical for the safe and effective use of AI models. Prior efforts have been proven to be reliable on small-scale datasets. In this work, we study the problem of predicting trustworthiness on real-world large-scale datasets, where the task is more challenging due to high-dimensional features, diverse visual concepts, and large-scale samples. In such a setting, we observe that the trustworthiness predictors trained with prior-art loss functions, i.e., the cross entropy loss, focal loss, and true class probability confidence loss, are prone to view both correct predictions and incorrect predictions to be trustworthy. The reasons are two-fold. Firstly, correct predictions are generally dominant over incorrect predictions. Secondly, due to the data complexity, it is challenging to differentiate the incorrect predictions from the correct ones on real-world large-scale datasets. To improve the generalizability of trustworthiness predictors, we propose a novel steep slope loss to separate the features w.r.t. correct predictions from the ones w.r.t. incorrect predictions by two slide-like curves that oppose each other. The proposed loss is evaluated with two representative deep learning models, i.e., Vision Transformer and ResNet, as trustworthiness predictors. We conduct comprehensive experiments and analyses on ImageNet, which show that the proposed loss effectively improves the generalizability of trustworthiness predictors. The code and pre-trained trustworthiness predictors for reproducibility are available at https://github.com/luoyan407/predict_trustworthiness.

研究の動機と目的

• 実世界の大規模データセット（ImageNetなど）における信頼性予測の課題に取り組むこと。特に、既存の損失関数が正しい予測に過剰適合してしまう点を解決する。
• 標準的な損失関数（交差エントロピー、フォーカル、TCP信頼度）が、高次元かつ複雑なデータにおいて誤った予測を「信頼できない」と識別できない理由を特定すること。
• 正しい予測と誤った予測の特徴の分離性を高める新しい損失関数を開発し、信頼性予測子の汎化性能を向上させること。
• 安全が求められる応用分野（例：医療、セキュリティ）において不可欠な、真正陽性率（TPR）と真正陰性率（TNR）の柔軟なトレードオフを可能にすること。

提案手法

• 信頼できる予測と信頼できない予測の間の意思決定境界をモデル化する、2つの反対方向のスライド状曲線を持つスティープスロープ損失を提案する。
• 損失関数は、曲線の勾配と高さを制御する学習可能なパラメータ α⁺ と α⁻ を用いる。これにより、正しい予測と誤った予測の特徴を柔軟に分離可能となる。
• 損失関数は線形層の出力（z = wᵀxₒᵤₜ + b）に適用され、正規化済み（z = (wᵀxₒᵤₜ + b)/||w||）と非正規化済みのバージョンを実験で比較する。
• ViT および ResNet のバックボーンを用いて、ImageNet上で信頼性予測子として評価し、学習および推論に本手法の損失関数を適用する。
• 損失関数は、正しい予測の特徴を高い信頼度へ、誤った予測の特徴を低い信頼度へと押しやることで、特徴の分布の分離性を向上させる。
• 各バックボーンごとに α⁺ と α⁻ の最適化のためのハイパーパramータサーチを実施し、TPR-TNRの最良バランスを達成する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な損失関数（交差エントロピー、フォーカル、TCP信頼度）は、ImageNetのような大規模データセットにおいて誤った予測を「信頼できない」と識別できないのか？
• RQ2 正しい予測が支配的であり、データの複雑さが区別を曇らせる状況下で、信頼性予測子の汎化性能をどのように向上できるか？
• RQ3 正しい予測と誤った予測の特徴分布を明示的に分離する損失関数は、標準的な分類損失よりも優れた性能を達成できるか？
• RQ4 実世界のデータセット上で、TPR と TNR の最適なトレードオフを達成するには、スティープスロープ損失のどのハイパーパramータ設定が最適か？
• RQ5 意思決定スコア z の正規化が、信頼性予測の性能と分布にどのように影響するか？

主な発見

• スティープスロープ損失は、交差エントロピー損失、フォーカル損失、TCP信頼度損失よりも、TPR と TNR のバランスが優れている。ViT では α⁻ = 3 かつ α⁺ = 1 の設定が最適な性能を示した。
• ResNet では最適なハイパーパramータは α⁺ = 2 かつ α⁻ = 5 であり、モデル固有のチューニングが有効であることを示している。
• 本手法はクラスバランス損失を上回っていることから、信頼性予測には標準的な分類とは異なるデータのアンバランス特性があることが示唆される。
• 正規化済みの z（z = (wᵀxₒᵤₜ + b)/||w||）を用いることで、分布がより広がり、TPR/TNR の分離性が非正規化のものよりも向上した。
• 分布内（in-distribution）および分布外（out-of-distribution）の画像の両方で強固な性能を維持しており、汎化性能の高さが裏付けられた。
• 本手法は、医療やセキュリティ分野で極めて重要な偽陽性の低減を可能にする、TPR と TNR の柔軟なトレードオフを実現している。