[論文レビュー] Predicting Out-of-Distribution Error with the Projection Norm

Yaodong Yu, Zitong Yang+3 more|arXiv (Cornell University)|Feb 11, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、教師強化ラベルなしで分布外（OOD）テスト誤差を予測するための新規指標であるProjection Normを導入する。OODデータに対して疑似ラベルを付与して学習したモデルと、参照用の分布内モデルとの間のL2距離を測定することで実現される。視覚および言語のベンチマークにおいて既存手法を上回り、敵対的例に対しても非自明な性能を示し、過パラメータ化された線形モデルにおいて理論的裏付けを持つ。

ABSTRACT

We propose a metric -- Projection Norm -- to predict a model's performance on out-of-distribution (OOD) data without access to ground truth labels. Projection Norm first uses model predictions to pseudo-label test samples and then trains a new model on the pseudo-labels. The more the new model's parameters differ from an in-distribution model, the greater the predicted OOD error. Empirically, our approach outperforms existing methods on both image and text classification tasks and across different network architectures. Theoretically, we connect our approach to a bound on the test error for overparameterized linear models. Furthermore, we find that Projection Norm is the only approach that achieves non-trivial detection performance on adversarial examples. Our code is available at https://github.com/yaodongyu/ProjNorm.

研究の動機と目的

• 教師強化ラベルにアクセスできない状況下で、分布外（OOD）テスト誤差を予測する手法を開発すること。これは、機械学習モデルの実世界への導入において極めて重要である。
• 深層学習における分布シフトの課題に対処すること。標準的な検証セットでは、OODデータにおける性能低下を捉えきれない。
• 実験的に正確であり、理論的に解釈可能な指標を提供すること。特に、高次元かつ複雑な分布シフトにおいて有効である。
• 敵対的例のような極端な分布シフトにおいて、既存手法が失敗する状況でも、本手法のロバスト性を評価すること。
• アクティブラーニング、強化学習、モデル監視に活用可能な、一般用途の分布差を測定するツールを提供すること。

提案手法

• Projection Normは、疑似ラベルを用いて学習したOODモデルと、分布内データで学習した参照モデルとの間のL2距離を計算する。両モデルは同じランダムシードから初期化される。
• まず、事前学習済みモデルを用いて、予測結果に基づいて未ラベルのOODテストサンプルに疑似ラベルを付与する。
• 次に、参照モデルと同じ初期化を用いて、これらの疑似ラベル付きOODサンプルで微調整された新しいモデルを学習する。
• 微調整済みのOODモデルと参照の分布内モデルとの距離を、Projection Normスコアとして用いる。
• 本手法は、学習データの多様体に直交する分布差を捉えるように設計されており、ロジットに依存する手法とは異なっている。
• 理論的分析により、過パラメータ化された線形モデルにおける一般化境界とProjection Normが関連づけられ、真のモデルが訓練データとテストデータの重複部分に射影されるのを測定していることが示された。

実験結果

リサーチクエスチョン

• RQ1 教師強化ラベルにアクセスできない状況で、OODデータに対するモデルの予測のみを用いて、OODテスト誤差を予測できる指標は存在するか？
• RQ2 Projection Normは、既存のOOD誤差予測手法と比較して、正確性および実際の誤差との相関性において優れているか？
• RQ3 敵対的例のような極端な分布シフトにおいても、Projection Normは有効に機能するか？
• RQ4 特に高次元線形モデルにおいて、Projection Normの性能の理論的根拠は何か？
• RQ5 Projection Normは、既存手法と補完的な情報を提供でき、アンサンブル予測性能の向上に寄与できるか？

主な発見

• Projection Normは、ImageNet、CIFAR-10、GLUEを含む複数の視覚および言語ベンチマークにおいて、既存手法を上回ってOOD誤差を予測する。
• 敵対的例に対しても非自明な検出性能を達成した。評価された手法の中で唯一、これを行えた。これは、極端な分布シフトに対するロバスト性を示している。
• 実験的に、Projection Normの誤差予測は、既存手法の予測とほぼ相関がなく、アンサンブルで組み合わせることで顕著な性能向上が得られた。
• 理論的分析により、過パラメータ化された線形モデルにおいて、Projection Normは訓練データとテストデータの多様体の重複部分への真のモデルの射影を測定していることが示された。
• 線形設定において、Projection Normは学習データ多様体に対して直交する情報を捉えている。これは、ロジットベース手法と比較して補完的な信号を提供する理由を説明している。
• 本手法はモデルアーキテクチャやデータセットのシフトに対してロバストであり、ラベルシフトやドメインシフトを含む多様な設定で一貫した性能を示した。