[論文レビュー] A Geometric Perspective towards Neural Calibration via Sensitivity Decomposition

Junjiao Tian, Dylan Yung+2 more|arXiv (Cornell University)|Oct 27, 2021

Image Processing Techniques and Applications参考文献 27被引用数 7

ひとこと要約

本稿では、分布シフト下でのニューラルネットワークのキャリブレーションを向上させるために、特徴埋め込みをインスタンス依存およびインスタンス非依存の成分に分離する幾何的手法である幾何的感度分解（GSD）を導入する。感度のある入力変化と損失最小化の不変量を分離するように変更されたソフトマックス線形モデルを訓練することで、最先端の性能を達成し、破損したCIFAR100において期待キャリブレーション誤差（Expected Calibration Error）を30.8%低減した。

ABSTRACT

It is well known that vision classification models suffer from poor calibration in the face of data distribution shifts. In this paper, we take a geometric approach to this problem. We propose Geometric Sensitivity Decomposition (GSD) which decomposes the norm of a sample feature embedding and the angular similarity to a target classifier into an instance-dependent and an instance-independent component. The instance-dependent component captures the sensitive information about changes in the input while the instance-independent component represents the insensitive information serving solely to minimize the loss on the training dataset. Inspired by the decomposition, we analytically derive a simple extension to current softmax-linear models, which learns to disentangle the two components during training. On several common vision models, the disentangled model outperforms other calibration methods on standard calibration metrics in the face of out-of-distribution (OOD) data and corruption with significantly less complexity. Specifically, we surpass the current state of the art by 30.8% relative improvement on corrupted CIFAR100 in Expected Calibration Error. Code available at https://github.com/GT-RIPL/Geometric-Sensitivity-Decomposition.git.

研究の動機と目的

• 分布外（OOD）データやデータ破損に直面した際のビジョンモデルにおける不良キャリブレーションという長年の問題に対処すること。
• 分布シフト下における特徴埋め込みと分類器の相互作用の幾何的構造を理解すること。
• 特徴のノルムと角距離を、入力変化に依存する成分と依存しない成分に分解し、入力変化への感受性を分離すること。
• 感度成分と非感度成分を明示的に分離する訓練手法を開発し、一般化性能とキャリブレーションを向上させること。
• 従来の手法と比較して、構造的および計算的オーバーヘッドを最小限に抑えて優れたキャリブレーション性能を達成すること。

提案手法

• 入力変化に感受性のある成分とそれらに対して不変な成分に、サンプルの特徴埋め込みのノルムと分類器との角距離を分解する幾何的感度分解（GSD）を提案する。
• 幾何的原則を用いて分解を定式化し、特徴ベクトルを方向（インスタンス非依存）と大きさ（インスタンス依存）の成分に分離する。
• 感度成分と非感度成分を同時に学習できるように、新しい損失目的を用いた変更されたソフトマックス線形モデルを設計する。
• インスタンス非依存成分を用いて訓練損失を最小化し、インスタンス依存成分を入力固有の変化を捉えるものとする。
• 感度と不変性の特徴表現における分離を促進する正則化付きの目的関数を用いて、モデルをエンドツーエンドで訓練する。
• アーキテクチャの大幅な見直しを必要とせず、標準的なビジョンモデルに適用可能であり、推論効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 特徴埋め込みと分類器出力の幾何的構造を、分布シフト下でのモデルキャリブレーション向上にどう活用できるか。
• RQ2 ニューラル特徴表現において、入力変化への感受性を、学習データ分布への不変性からどれほど分離できるか。
• RQ3 分離可能な表現学習アプローチにより、最小限の複雑さで、OODおよび破損データにおけるキャリブレーションを向上させられるか。
• RQ4 標準ベンチマーク上での性能と効率の観点から、提案手法は従来のキャリブレーション技術とどのように比較されるか。
• RQ5 インスタンス依存およびインスタンス非依存成分の分離が、期待キャリブレーション誤差（Expected Calibration Error）およびその他のキャリブレーション指標に与える影響は何か。

主な発見

• 提案手法は、破損したCIFAR100において、従来の最先端手法と比較して期待キャリブレーション誤差を30.8%相対的に改善した。
• 分離されたモデルは、OODおよび破損データ設定下で、複数の標準指標において既存のキャリブレーション手法を上回った。
• 追加の複雑さは最小限に抑えられ、効率を維持しながらも、キャリブレーション性能を顕著に向上させた。
• 幾何的分解により、損失最小化の不変量から入力感受性の変化がうまく分離され、より頑健な予測が得られた。
• アーキテクチャの変更を要せず、さまざまなビジョンモデルに一般化可能であった。
• コードと実装は公開されており、再現性と幾何的キャリブレーション分野におけるさらなる研究を可能にしている。