[論文レビュー] Certifying Out-of-Domain Generalization for Blackbox Functions

Maurice Weber, Linyi Li+4 more|arXiv (Cornell University)|Feb 3, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、分布シフト下での最悪のリスクをヘリンジャーディスタンスを用いて制限することで、ブラックボックス機械学習モデルにおけるドメイン外一般化のスケーラブルな認証フレームワークを提案する。本手法は、効率的ネットB7などのフルプレシジョンモデルおよび0-1損失やAUCを含む多様な損失関数を用いて、ImageNetスケールのデータセットにおいて、初めての非自明な認証可能な一般化境界を達成する。

ABSTRACT

Certifying the robustness of model performance under bounded data distribution drifts has recently attracted intensive interest under the umbrella of distributional robustness. However, existing techniques either make strong assumptions on the model class and loss functions that can be certified, such as smoothness expressed via Lipschitz continuity of gradients, or require to solve complex optimization problems. As a result, the wider application of these techniques is currently limited by its scalability and flexibility -- these techniques often do not scale to large-scale datasets with modern deep neural networks or cannot handle loss functions which may be non-smooth such as the 0-1 loss. In this paper, we focus on the problem of certifying distributional robustness for blackbox models and bounded loss functions, and propose a novel certification framework based on the Hellinger distance. Our certification technique scales to ImageNet-scale datasets, complex models, and a diverse set of loss functions. We then focus on one specific application enabled by such scalability and flexibility, i.e., certifying out-of-domain generalization for large neural networks and loss functions such as accuracy and AUC. We experimentally validate our certification method on a number of datasets, ranging from ImageNet, where we provide the first non-vacuous certified out-of-domain generalization, to smaller classification tasks where we are able to compare with the state-of-the-art and show that our method performs considerably better.

研究の動機と目的

• ブラックボックスモデルにおける分布的頑健性のためのスケーラブルで柔軟な認証手法の欠如に対処すること。
• 大規模モデルおよび滑らかでない損失関数（例：正解率やAUC）のドメイン外一般化を認証できること。
• 従来の手法がリーマン連続性やリプシッツ勾配といった強い仮定に依存するか、スケーラビリティの問題を抱えるという制限を克服すること。
• 任意のブラックボックスモデルと有界損失関数を対象とし、ドメイン内サンプルのみを必要とする実用的でモデルに依存しないフレームワークを提供すること。

提案手法

• ヒルベルト空間における内積不等式を用いて、ヘリンジャー球による不確実性集合上での最悪のリスクを制限する。
• ドメイン内分布Pからのヘリンジャー距離ρ以内の任意のシフトされた分布Qにおける期待損失の上界を導出する。
• P下での期待損失と分散にのみ依存するため、ブラックボックス適用が可能になる。
• ヘリンジャー距離のモデリングを通じて、共変量シフトやラベルシフトを含むさまざまなドメインシフトタイプに対応する。
• 滑らかさや凸性を要件としない0-1損失、JSD、AUCを含む広範な有界損失関数をサポートする。
• ドメイン内分布Pからの有限サンプル集合のみを用いて認証を実施し、実用的なスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 モデルや損失関数の滑らかさやリプシッツ連続性を仮定せずに、ブラックボックスモデルのドメイン外一般化を認証できるか？
• RQ2 分布的頑健性認証をImageNetスケールのデータセットおよび現代の深層ニューラルネットワークにスケーリングできるか？
• RQ3 タイトさとスケーラビリティの観点から、ヘリンジャーに基づく境界はワサーラインに基づく手法と比べてどのように異なるか？
• RQ4 本フレームワークは、大規模タスクにおける0-1損失やAUCといった複雑で滑らかでない損失関数に対し、非自明な証明を提供できるか？
• RQ5 モデルの複雑さや分布シフトの大きさに応じて、境界のタイトさはどのように変化するか？

主な発見

• 提案手法は、効率的ネットB7モデルを用いてImageNet上で、初めての非自明なドメイン外一般化認証境界を達成した。
• 境界はタイトであり、ほぼモデルに依存せず、モデルアーキテクチャの複雑さにほとんど依存しない。
• 従来のワサーラインに基づくアプローチに比べて優れた性能を示し、モデルサイズが大きくなるとその有効性が低下する（非自明でなくなる）傾向を克服した。
• 実世界のデータセットにおいて、0-1損失やAUCを含む多様な損失関数に対する初めての認証可能な境界を提供した。
• 実験により、ImageNetへのスケーラビリティが確認され、最先端手法に比べて小規模ベンチマークでも優れた性能を示した。