[논문 리뷰] Certifying Out-of-Domain Generalization for Blackbox Functions

Maurice Weber, Linyi Li외 4명|arXiv (Cornell University)|2022. 02. 03.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 힐버트 거리 기반의 강건성 한계를 사용하여 블랙박스 기계학습 모델에서 도메인 외 일반화를 위한 확장 가능한 인증 프레임워크를 제안한다. 이는 분포 이탈 하에서 최악의 위험을 제한한다. 이는 효율넷-B7와 같은 정밀도가 높은 모델과 0-1 및 AUC를 포함한 다양한 손실 함수를 사용하여 ImageNet 규모의 데이터셋에서 처음으로 비어 있지 않은 인증된 일반화 한계를 달성한다.

ABSTRACT

Certifying the robustness of model performance under bounded data distribution drifts has recently attracted intensive interest under the umbrella of distributional robustness. However, existing techniques either make strong assumptions on the model class and loss functions that can be certified, such as smoothness expressed via Lipschitz continuity of gradients, or require to solve complex optimization problems. As a result, the wider application of these techniques is currently limited by its scalability and flexibility -- these techniques often do not scale to large-scale datasets with modern deep neural networks or cannot handle loss functions which may be non-smooth such as the 0-1 loss. In this paper, we focus on the problem of certifying distributional robustness for blackbox models and bounded loss functions, and propose a novel certification framework based on the Hellinger distance. Our certification technique scales to ImageNet-scale datasets, complex models, and a diverse set of loss functions. We then focus on one specific application enabled by such scalability and flexibility, i.e., certifying out-of-domain generalization for large neural networks and loss functions such as accuracy and AUC. We experimentally validate our certification method on a number of datasets, ranging from ImageNet, where we provide the first non-vacuous certified out-of-domain generalization, to smaller classification tasks where we are able to compare with the state-of-the-art and show that our method performs considerably better.

연구 동기 및 목표

• 블랙박스 모델에서 분포에 강건한 성능을 확보하기 위한 확장 가능하고 유연한 인증 방법의 부족을 해결하기 위해.
• 정확도 및 AUC와 같은 비연속적인 손실 함수를 포함한 대규모 모델과 도메인 외 일반화를 위한 인증을 가능하게 하기 위해.
• 이전 방법들이 리프시츠 기울기와 같은 강력한 가정에 의존하거나 확장성 문제를 겪는 점을 극복하기 위해.
• 모델에 종속되지 않는 실용적인 프레임워크를 제공하여, 도메인 내 샘플과 임의의 블랙박스 모델, 유계 손실 함수만을 요구한다.

제안 방법

• 힐베르트 공간 내의 내적 부등식을 사용하여 힐버트 구 내의 최악의 위험을 제한한다.
• 도메인 내 분포 P로부터 힐버트 거리 ρ 이내에 있는 임의의 분포 Q에 대한 기대 손실에 대한 상한을 유도한다.
• 기대 손실과 P 하에서의 손실 분산에만 의존하므로 블랙박스 적용 가능성을 보장한다.
• 히르베르트 거리 모델링을 통해 다양한 도메인 이탈 유형(예: 공변량 이탈 및 레이블 이탈)에 대해 프레임워크를 구현한다.
• 0-1 손실, JSD, AUC와 같은 다양한 유계 손실 함수를 지원하며, 부드러움이나 볼록성 요구 조건이 필요 없다.
• 실제로 확장 가능성을 보장하기 위해 도메인 내 분포 P로부터의 유한한 샘플 세트만을 사용하여 인증을 수행한다.

실험 결과

연구 질문

• RQ1 모델이나 손실 함수의 부드러움 또는 리프시츠 연속성 가정 없이도 블랙박스 모델에 대해 도메인 외 일반화를 인증할 수 있는가?
• RQ2 분포에 강건한 인증을 ImageNet 규모의 데이터셋과 현대적인 딥 네트워크에 어떻게 확장할 수 있는가?
• RQ3 정밀도와 확장성 측면에서 힐버트 기반 한계는 워샤르 기반 방법보다 어떻게 비교되는가?
• RQ4 복잡한 비연속 손실 함수인 0-1 손실과 AUC에 대해 대규모 작업에서 비어 있지 않은 인증서를 제공할 수 있는가?
• RQ5 모델 복잡성과 분포 이탈의 크기에 따라 한계의 정밀도가 어떻게 변하는가?

주요 결과

• 제안된 방법은 효율넷-B7 모델을 사용하여 ImageNet에서 도메인 외 일반화에 대해 처음으로 비어 있지 않은 인증된 일반화 한계를 달성한다.
• 한계는 탄탄하고 거의 모델에 종속되지 않으며, 모델 아키텍처의 복잡성에 거의 의존하지 않는다.
• 이전의 워샤르 기반 접근법보다 우수하며, 모델 크기가 증가함에 따라 비어 있지 않거나 느슨해지는 경향이 있다.
• 실제 세계 데이터셋에서 0-1 손실과 AUC를 포함한 다양한 손실 함수에 대해 처음으로 인증된 한계를 제공한다.
• 실험 결과는 ImageNet에 대한 확장 가능성과 최신 기술 대비 더 작은 벤치마크에서 뛰어난 성능을 확인한다.