[논문 리뷰] On-manifold Adversarial Data Augmentation Improves Uncertainty Calibration

Kanil Patel, William Beluch외 3명|arXiv (Cornell University)|2019. 12. 16.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 7

한 줄 요약

이 논문은 오토인코더 기반 생성 모델의 잠재 공간에서 데이터 다양체에 제약을 두고 적대적 공격을 수행함으로써 도전적이고 불확실성 높은 훈련 샘플을 생성하는 On-Manifold Adversarial Data Augmentation (OMADA)를 제안한다. OMADA는 다양한 데이터셋과 아키텍처에서 불확실성 캘리브레이션과 분류 정확도를 향상시키며, Mixup를 능가하고 온도 스케일링과 같은 후처리 방법과 맞먹거나 뛰어나다.

ABSTRACT

Uncertainty estimates help to identify ambiguous, novel, or anomalous inputs, but the reliable quantification of uncertainty has proven to be challenging for modern deep networks. In order to improve uncertainty estimation, we propose On-Manifold Adversarial Data Augmentation or OMADA, which specifically attempts to generate the most challenging examples by following an on-manifold adversarial attack path in the latent space of an autoencoder-based generative model that closely approximates decision boundaries between two or more classes. On a variety of datasets as well as on multiple diverse network architectures, OMADA consistently yields more accurate and better calibrated classifiers than baseline models, and outperforms competing approaches such as Mixup, as well as achieving similar performance to (at times better than) post-processing calibration methods such as temperature scaling. Variants of OMADA can employ different sampling schemes for ambiguous on-manifold examples based on the entropy of their estimated soft labels, which exhibit specific strengths for generalization, calibration of predicted uncertainty, or detection of out-of-distribution inputs.

연구 동기 및 목표

• 안정성에 민감한 응용 분야에서 신뢰할 수 없는 불확실성 추정 문제를 해결하기 위해.
• 결정 경계 근처의 현실적이며 모호한 훈련 샘플을 생성함으로써 불확실성 캘리브레이션을 향상시키기 위해.
• 데이터 다양체 일致성을 유지하면서 분류가 어려운 예제를 생성하는 데이터 증강 전략을 개발하기 위해.
• 예측의 모호성이 높은 영역에 집중함으로써 더 나은 일반화와 이상치 탐지 성능을 확보하기 위해.
• 다양한 아키텍처와 데이터셋에서 안정적인 성능 향상을 보이며, 강건한 성능을 제공하는 방법을 제공하기 위해.

제안 방법

• 훈련 데이터의 분리 가능하고 저차원의 잠재 표현을 학습하기 위해 오토인코더를 훈련시어, 진짜 데이터 다양체를 근사한다.
• 잠재 코드에 대한 소프트 레이블을 예측하기 위해 잠재 공간 분류기를 사용하여, 잠재 공간에서 기울기 기반의 적대적 공격를 가능하게 한다.
• 데이터 다양체를 따라 잠재 코드를 편향시켜 결정 경계 근처의 샘플을 생성함으로써 다양체 상의 적대적 공격를 수행한다.
• 디코더를 사용하여 적대적으로 편향된 잠재 코드를 다시 이미지 공간으로 투영하여 현실적인 증강된 훈련 샘플을 생성한다.
• 생성된 이미지에 잠재 공간 분류기에서 유도된 소프트 레이블을 할당하여 불확실성 인식 감독을 보장한다.
• 원본 데이터에 OMADA로 생성된 샘플을 증강하여 이미지 공간 분류기를 훈련시키며, 소프트 레이블을 사용하여 캘리브레이션을 향상시킨다.

실험 결과

연구 질문

• RQ1 기본적인 데이터 증강과 비교할 때, 다양체 상의 적대적 데이터 증강은 딥 네ural 네트워크의 불확실성 캘리브레이션을 향상시킬 수 있는가?
• RQ2 온도 스케일링과 같은 후처리 보정 방법과 비교할 때, OMADA는 캘리브레이션과 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 다양한 샘플링 전략(예: 엔트로피 기반 또는 균일한 소프트 레이블)이 일반화 및 이상치 탐지에 어떤 영향을 미치는가?
• RQ4 OMADA는 내부 분포 정확도를 유지하면서도 분포 외 탐지 성능을 향상시킬 수 있는가?
• RQ5 다양한 네트워크 아키텍처와 데이터셋에서 OMADA는 안정성과 캘리브레이션 측면에서 어떻게 성능을 내는가?

주요 결과

• OMADA는 여러 데이터셋과 아키텍처에서 일관되게 불확실성 캘리브레이션(ACE)과 분류 정확도를 향상시키며, Mixup를 능가하고 온도 스케일링과 맞먹거나 뛰어나다.
• 고엔트로피 소프트 레이블 기반 샘플링을 사용하는 OMADA-SE는 WRN과 DenseNet에서 CEDA를 능가하는 최신 기술 수준의 이상치 탐지 성능을 달성한다.
• 잠재 공간 분류기에서 유도된 소프트 레이블은 내부 분포 작업에서 경쟁적인 성능을 내는 데 필수적이며, 균일한 레이블은 분포 외 탐지 성능을 향상시킨다.
• OMADA는 다양체 상에 위치하고 결정 경계 근처에 있는 샘플을 생성함으로써 모델의 강건성을 향상시키며 일반화 성능을 향상시킨다.
• 이 방법은 다양한 아키텍처에서 안정적이며, 경쟁 방법들과 달리 어떤 네트워크에서도 성능 저하가 없었다.
• 온도 스케일링과 같은 후처리 방법과 OMADA를 조합하면 추가적인 성능 향상이 이루어지며, 이는 상호 보완성과 상호 보완적 상호작용을 시사한다.