[논문 리뷰] Removing Undesirable Feature Contributions Using Out-of-Distribution Data

Saehyung Lee, Changhwa Park외 4명|arXiv (Cornell University)|2021. 01. 17.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 비정상 분포(OOD) 데이터를 활용하여 레이블이 없는 정상 분포(UID) 데이터나 가짜 레이블에 의존하지 않고도 딥 네ural 네트워크의 표준 및 적대적 일반화 성능을 향상시키는 Out-of-Distribution Data Augmented Training(OAT) 방법을 제안한다. OOD 샘플에 균일한 레이블을 할당함으로써 OAT는 바람직하지 않은 특징 학습을 억제하여 기존 데이터 증강 기법과 조합해도 최신 기술 수준의 성능 향상을 달성한다.

ABSTRACT

Several data augmentation methods deploy unlabeled-in-distribution (UID) data to bridge the gap between the training and inference of neural networks. However, these methods have clear limitations in terms of availability of UID data and dependence of algorithms on pseudo-labels. Herein, we propose a data augmentation method to improve generalization in both adversarial and standard learning by using out-of-distribution (OOD) data that are devoid of the abovementioned issues. We show how to improve generalization theoretically using OOD data in each learning scenario and complement our theoretical analysis with experiments on CIFAR-10, CIFAR-100, and a subset of ImageNet. The results indicate that undesirable features are shared even among image data that seem to have little correlation from a human point of view. We also present the advantages of the proposed method through comparison with other data augmentation methods, which can be used in the absence of UID data. Furthermore, we demonstrate that the proposed method can further improve the existing state-of-the-art adversarial training.

연구 동기 및 목표

• 획득하기 어려운 레이블이 없는 정상 분포(UID) 데이터나 정확도가 떨어지는 가짜 레이블에 의존하는 기존 데이터 증강 방법의 한계를 해결하기 위해.
• 비정상 분포(OOD) 데이터가 표준 및 적대적 학습 모두에서 일반화 성능 향상에 사용될 수 있는지 조사하기 위해.
• OOS 데이터의 레이블 정보 없이도 바람직하지 않은 특징 기여를 제거할 수 있는 이론적으로 타당하고 단순한 방법을 개발하기 위해.
• 사람의 시각적 관점에서 관련성이 없어 보이는 다양한 이미지 데이터셋 간에도 바람직하지 않은 특징이 이식 가능함을 경험적으로 검증하기 위해.
• OAT가 기존의 최신 기술 수준의 적대적 학습 방법을 추가로 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 비정상 분포(OOD) 샘플에 균일한 레이블을 부여하여 훈련을 정규화하는 데이터 증강 방법인 Out-of-Distribution Data Augmented Training(OAT)를 제안한다.
• 이론적 분석을 통해 OOD 데이터가 정상 분포 데이터와 바람직하지 않은 특징을 공유할 경우, 이러한 특징이 분류기의 가중치 갱신에 미치는 영향을 줄일 수 있음을 보여준다.
• 각 훈련 배치에서 OAT는 정상 분포 데이터와 OOD 데이터를 조합하며, OOD 샘플은 모든 클래스에 대해 균일한 분포 레이블을 할당한다.
• 이 방법은 OOD 데이터가 정상 분포 데이터와 공통된 바람직하지 않은 특징 공간을 공유한다고 가정하여, 이러한 특징에 대한 의존도를 억제하는 정규화를 가능하게 한다.
• OAT는 레이블 정보나 가짜 레이블 없이도 표준 및 적대적 학습 설정 모두에 적용된다.
• 이 방법은 간단하게 구현 가능하며, Mixup와 같은 기존 증강 기법과도 조합 가능하다.

실험 결과

연구 질문

• RQ1 레이블이 없는 정상 분포(UID) 데이터나 가짜 레이블에 의존하지 않고도 비정상 분포(OOD) 데이터를 활용해 딥 네URAL 네트워크의 일반화 성능을 향상시킬 수 있는가?
• RQ2 비정상 분포 데이터 간에 비록 인간의 시각적 관점에서 관련성이 없어 보여도, 비로운 특징(비로운, 허수의 상관관계 등)이 얼마나 이식 가능한가?
• RQ3 UID 데이터가 확보되지 않은 상황에서 OAT는 기존 데이터 증강 방법보다 성능 향상에 얼마나 효과적인가?
• RQ4 기존에 UID 데이터를 사용하는 최신 기술 수준의 적대적 학습 방법에 OAT를 추가로 적용했을 때 성능 향상이 이루어지는가?
• RQ5 OAT의 효과가 OOD 데이터와 정상 분포 데이터 간의 분포 유사도에 의존하는가?

주요 결과

• OAT는 CIFAR-10 및 CIFAR-100에서 일반화 성능을 크게 향상시키며, 특히 훈련 데이터가 제한된 경우 두드러진 성능 향상을 보였다. 예를 들어, 80M-TI 데이터를 사용한 OAT는 단 2,500개의 훈련 샘플로 CIFAR-10에서 표준 정확도 72.49%를 달성했으며, 기준 모델의 65.44%보다 높았다.
• ImageNet-10(64×64)에서는 Places365 데이터를 사용한 OAT가 단 100개의 훈련 샘플로도 표준 정확도 41.84%를 기록하여 기준 모델의 37.90%를 초월했다.
• 가짜 레이블링과 조합했을 때 OAT는 성능 향상이 더욱 두드러졌다. 융합 모델은 CIFAR-10에서 95.53%의 테스트 정확도, CIFAR-100에서는 77.36%를 기록하여 가짜 레이블 기준 모델의 95.28% 및 77.24%를 뛰어넘었다.
• OAT는 OOD 데이터가 목표 데이터와 공통된 바람직하지 않은 특징 분포를 공유할 경우 가장 효과적이며, 80M-TI 및 Places365와 같은 유사한 OOD 데이터셋은 더 큰 성능 향상을 보였고, SVHN처럼 유사도가 낮은 데이터셋은 성능 향상이 상대적으로 낮았다.
• OAT는 표준 학습보다 적대적 학습에서 더 효과적이었으며, 이는 바람직하지 않은 특징이 적대적 환경에서 더 이식 가능하다는 것을 시사한다.
• OAT는 Mixup와 같은 기존 방법을 향상시키며, 기존 훈련 파이프라인에 통합 가능한 호환성과 잠재력을 보여주었다.