[論文レビュー] Calibrated neighborhood aware confidence measure for deep metric learning

Maryna Karpusha, Sunghee Yun+1 more|arXiv (Cornell University)|Jun 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 4

ひとこと要約

本稿では、埋め込み空間におけるガウスカーネルスムージングを用いてクラスごとのデータ分布を近似することで、校正可能で解釈可能な信頼度測度であるNED（距離の正規化指数関数）を提案する。この手法は、最小限のハイパーパrameterチューニングで、クリーンなデータ、汚染されたデータ、および敵対的データのテストにおいて、一貫してベースラインを上回るロバストネスと一般化性能を実現する。4つのベンチマークデータセットで評価された。

ABSTRACT

Deep metric learning has gained promising improvement in recent years following the success of deep learning. It has been successfully applied to problems in few-shot learning, image retrieval, and open-set classifications. However, measuring the confidence of a deep metric learning model and identifying unreliable predictions is still an open challenge. This paper focuses on defining a calibrated and interpretable confidence metric that closely reflects its classification accuracy. While performing similarity comparison directly in the latent space using the learned distance metric, our approach approximates the distribution of data points for each class using a Gaussian kernel smoothing function. The post-processing calibration algorithm with proposed confidence metric on the held-out validation dataset improves generalization and robustness of state-of-the-art deep metric learning models while provides an interpretable estimation of the confidence. Extensive tests on four popular benchmark datasets (Caltech-UCSD Birds, Stanford Online Product, Stanford Car-196, and In-shop Clothes Retrieval) show consistent improvements even at the presence of distribution shifts in test data related to additional noise or adversarial examples.

研究の動機と目的

• 深層度量学習モデルにおける信頼性が高く、解釈可能な信頼度推定の欠如に対処すること。
• 画像の汚染や敵対的攻撃などの分布シフト下でのモデルのロバストネスを向上させること。
• バックボーンネットワークの再トレーニングなしに一般化する後処理による校正手法を提供すること。
• 予測の正確性と強く相関する正確な信頼度推定を可能にすること。
• k-NNに基づく信頼度スコアで一般的に見られるハイパーパrameterへの依存性を低減すること。

提案手法

• NEDは、埋め込み空間におけるk個の近隣の距離の指数関数の正規化和として信頼度を計算する。
• この手法は、あるサンプルが特定のクラスに属する条件付き確率をモデル化するために、ガウスカーネルスムージング近似を用いる。
• 確率推定の改善を図るために、ホールドアウトされた検証セット上で校正される単一の温度パrameter T を使用する。これは分類における温度スケーリングに類似している。
• 信頼度スコアはベイズの定理に基づいて導出され、距離に基づく近傍情報と真の正解確率の間の関連を確立する。
• このアプローチは、事前学習済みの深層度量学習モデルに対して後処理として適用され、アーキテクチャの変更や再トレーニングを必要としない。
• この手法はカーネル密度推定および統計学習理論に理論的根拠を置き、一般化保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層度量学習に対して、予測の正確性と強く相関する後処理による信頼度測度を開発できるか？
• RQ2 画像の汚染や敵対的例のような分布シフトに対して、信頼度推定をどのようにしてロバストにできるか？
• RQ3 近傍に配慮した信頼度測度は、標準的なk-NNおよび重み付きk-NNベースラインを上回る校正性と正確性を達成できるか？
• RQ4 kのようなハイパーパrameterの選択に対する感度は、提案手法NEDによってどの程度低減できるか？
• RQ5 1つの校正済み温度パrameter T は、多様なテスト分布にわたって信頼度の校正を改善できるか？

主な発見

• CUB-200データセットでは、NEDは汚染されたテスト画像で平均64.8%の精度を達成し、1NNよりも12%、kNNよりも4.3%高い。
• CARS196データセットでは、NEDは汚染データで77.2%の精度と2.3%のECEを達成し、kNN（76.0%精度、14.1% ECE）を顕著に上回った。
• ε=0.3のPGD攻撃を使用した敵対的例では、NEDは78.0%の精度と2.9%のECEを維持し、1NN（74.4%精度、10.9% ECE）を上回った。
• NEDはCUB-200、CARS196、SOP、In-shopの4つのベンチマークデータセットすべてで一貫した改善を示し、すべてのベースラインよりも低いECEと高い精度を達成した。
• kの選択に対して強いロバストネスを示し、k=10を超えると精度の低下が最小限に抑えられ、ハイパーパrameterチューニングへの感受性が低いことが示された。
• 校正済み温度パrameter T は、真のデータ分布をよりよく近似することで確率推定を改善することが判明し、理論的および実験的分析によって裏付けられた。