[論文レビュー] Agreement-on-the-Line: Predicting the Performance of Neural Networks under Distribution Shift

Christina Baek, Yiding Jiang+2 more|arXiv (Cornell University)|Jun 27, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本論文は、分布外（OOD）の予測一致度と分布内（ID）の予測一致度の間に強い相関関係が存在するという現象である「agreement-on-the-line」を導入する。これは、既知の「accuracy-on-the-line」相関と類似している。著者らは、この一致度相関を活用し、ラベルなしOODデータを用いてOOD精度を推定するALine-Dという手法を提案し、ラベルなしOODデータでさえも、最先端の性能を達成する。

ABSTRACT

Recently, Miller et al. showed that a model's in-distribution (ID) accuracy has a strong linear correlation with its out-of-distribution (OOD) accuracy on several OOD benchmarks -- a phenomenon they dubbed ''accuracy-on-the-line''. While a useful tool for model selection (i.e., the model most likely to perform the best OOD is the one with highest ID accuracy), this fact does not help estimate the actual OOD performance of models without access to a labeled OOD validation set. In this paper, we show a similar but surprising phenomenon also holds for the agreement between pairs of neural network classifiers: whenever accuracy-on-the-line holds, we observe that the OOD agreement between the predictions of any two pairs of neural networks (with potentially different architectures) also observes a strong linear correlation with their ID agreement. Furthermore, we observe that the slope and bias of OOD vs ID agreement closely matches that of OOD vs ID accuracy. This phenomenon, which we call agreement-on-the-line, has important practical applications: without any labeled data, we can predict the OOD accuracy of classifiers}, since OOD agreement can be estimated with just unlabeled data. Our prediction algorithm outperforms previous methods both in shifts where agreement-on-the-line holds and, surprisingly, when accuracy is not on the line. This phenomenon also provides new insights into deep neural networks: unlike accuracy-on-the-line, agreement-on-the-line appears to only hold for neural network classifiers.

研究の動機と目的

• ラベルなしOODデータが利用できない状況におけるニューラルネットワークのOOD性能推定という課題に対処すること。
• ニューラルネットワーク分類器ペアの分布内（ID）と分布外（OOD）の一致度の間に相関関係が存在するかを調査すること。
• ラベルなしOODデータとモデルアンサンブルのみを用いて、OOD精度を予測する実用的な手法を開発すること。
• 一致度相関が一般化現象であるのか、それともニューラルネットワークに特有のものであるのかを特定すること。
• 分布シフト下でのモデル選択に信頼性があり、データ効率の良い代理指標を提供すること。

提案手法

• ニューラルネットワーク分類器ペアのIDとOOD一致度の間に強い線形相関が存在することを示す現象として「agreement-on-the-line」を提唱する。
• ラベルなしOODデータを用いて、複数モデル間の予測一致度を計算し、OODラベルに依存しない。
• ラベルなしOODデータとモデルの予測結果のみを用いて、OOD対ID一致度の線形回帰の傾きと切片を推定する。
• 線形補正（式6）を適用して、OOD一致度をOOD精度に一致させ、正確なOOD性能予測を可能にする。
• 少なくとも3つのモデルを用いて連立一次方程式を解くことで、ID一致度とラベルなしOODデータからのOOD精度を予測するALine-Dというアルゴリズムを開発する。
• CIFAR-10.1、CIFAR-10C、ImageNetV2、fMoWを含む複数のベンチマークで、多様なモデルアーキテクチャを用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク分類器ペアの分布内（ID）と分布外（OOD）の一致度の間に、既知の「accuracy-on-the-line」現象に類似した線形相関が存在するか？
• RQ2 ラベルなしOODデータがなければ、OOD対ID一致度相関の傾きと切片を信頼性を持って推定できるか？
• RQ3 「agreement-on-the-line」現象はニューラルネットワークに特有であり、他のモデルタイプには成立しないのか？
• RQ4 ラベルなしOODデータが利用できない状況でも、一致度相関を用いてOOD精度を高精度に予測できるか？
• RQ5 モデルの多様性（アーキテクチャの違い）は、提案手法の性能にどのように影響するか？

主な発見

• 「agreement-on-the-line」現象は、複数のデータセットおよび多様なニューラルネットワークアーキテクチャで強く成立し、OOD一致度がID一致度と線形相関している。
• OOD対ID一致度相関の傾きとバイアスは、OOD対ID精度相関のそれと非常に近い値を示し、正確な予測が可能である。
• ALine-Dは、CIFAR-10C Fogでは1.8%未満、ImageNetV2では2.5%未満の平均絶対誤差（MAE）を達成し、最先端のOOD精度予測性能を発揮する。これは、小規模なモデルセットでも成立する。
• 3～15のモデルでさえも性能が高く、推定誤差がモデル数の増加に伴い必ずしも減少しないことから、モデル数の変動に対して頑健であることが示された。
• CIFAR-10.1およびCIFAR-10C Fogでは、モデルセットの多様性がALine-Dの性能向上に寄与するが、fMoWでは均一なアーキテクチャがより優れた性能を示す。
• 「agreement-on-the-line」現象はニューラルネットワークに特有であり、他のモデルタイプには一般化しない。これは、深層学習に特有のインダクティブバイアスが存在することを示唆する。