[論文レビュー] Class-Similarity Based Label Smoothing for Generalized Confidence Calibration.

Chihuang Liu, Joseph F. JáJá|arXiv (Cornell University)|Jun 24, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用数 5

ひとこと要約

本稿では、クラス間の意味的・構造的類似性を活用することで、ニューラルネットワークにおける信頼度のキャリブレーションを向上させる、クラス類似性に基づくラベルスムージングを提案する。均一なラベルスムージングに代えて類似性に依存するラベル分布を採用することで、複雑なクラス関係を有する状況においても、従来の手法を上回る優れたキャリブレーションを達成する。

ABSTRACT

Since modern neural networks are known to be overconfident, several techniques have been recently introduced to address this problem and improve calibration. However, the current notion of calibration is overly simple since only single prediction confidence is considered while the information regarding the rest of the classes is ignored. The output of a neural network is a probability distribution where the scores are estimated confidences of the input belonging to the corresponding classes, and hence they represent a complete estimate of the output likelihood that should be calibrated. In this paper, we first introduce a generalized definition of confidence calibration, which motivates the development of a novel form of label smoothing where the value of each class label is based on its similarity with the reference class. We adopt different similarity measurements, including those that capture semantic similarity, and demonstrate through extensive experiments the advantage of our method over both uniform label smoothing and other techniques.

研究の動機と目的

• 現代のニューラルネットワークにおける過信問題を解消するため、確率出力のキャリブレーションが不十分であることが原因である。
• 予測クラスの信頼度にのみ注目する従来のキャリブレーション手法の限界を克服するため、確率分布全体を無視している点を改善する。
• 類似度測定を用いてクラス間関係を統合する一般化された信頼度キャリブレーションフレームワークを構築する。
• 均一なラベルスムージングを類似性に配慮したラベルスムージングに置き換えることで、意味的または構造的クラス関係を反映させ、モデルのキャリブレーションを向上させる。
• 提案手法が均一なラベルスムージングおよび他の最先端のキャリブレーション技術を上回ることを実証的に検証する。

提案手法

• 予測クラスのみに注目するのではなく、出力確率分布全体を考慮する一般化された信頼度キャリブレーションの定義を提示する。
• 各クラスのラベル値が参照クラスとの類似度に依存する、新たなラベルスムージング技術を導入する。これには、意味的埋め込みや構造的特徴などのメトリクスが用いられる。
• コサイン類似度などのさまざまな類似度測定法（例えば、単語埋め込みや学習済み表現上のコサイン類似度）を用いて、クラス固有のスムージング値を計算する。
• 訓練中に、真のクラスに類似したクラスに高いスムージング重みを割り当てることで、より現実的な確率分布が得られるようにソフトラベルを調整する。
• 交差エントロピー損失を用いて、これらの類似性に基づくソフトラベルでニューラルネットワークを訓練し、推論時に変更を加えずにキャリブレーションを向上させる。
• 複数のデータセットおよびアーキテクチャにわたってこの手法を適用し、耐久性および一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベルスムージングにクラス類似度を組み込むことで、均一なラベルスムージングと比較してモデルのキャリブレーションにどのような影響を与えるか？
• RQ2 確率分布全体を考慮する一般化されたキャリブレーション定義は、モデルの信頼度推定をより良くするか？
• RQ3 クラス間の意味的類似度を用いることで、特に細分化された分類タスクや意味的に関連する分類タスクにおいてキャリブレーション性能が向上するか？
• RQ4 提案手法は、予測確率の正確性と信頼性の観点から、既存のキャリブレーション技術と比較してどのように差をつけるか？
• RQ5 異なる類似度メトリクス（例：意味的 vs. 構造的）は、深層ニューラルネットワークのキャリブレーション性能にどの程度影響を与えるか？

主な発見

• 提案されたクラス類似性に基づくラベルスムージングは、複数のベンチマークデータセットにおいて、均一なラベルスムージングと比較して顕著にキャリブレーション性能を向上させる。
• 類似性に基づくスムージングで訓練されたモデルは、標準的なラベルスムージングやスムージングなしのモデルと比較して、期待キャリブレーション誤差（ECE）が低くなる。
• 精度を損なうことなくキャリブレーションを向上させるため、精度と信頼度キャリブレーションの間で良好なトレードオフを実現する。
• 事前学習済み単語埋め込みから得られる意味的類似度測定法は、特に細分化分類タスクにおいて、より効果的なスムージングとキャリブレーション向上をもたらす。
• 一般化されたキャリブレーションフレームワークはクラス間関係を効果的に捉え、より信頼性が高く、良好にキャリブレートされた確率出力を得る。
• このアプローチは、異なるアーキテクチャおよびデータセットにわたって一般化が良く、キャリブレーション指標において一貫した改善を示す。