[논문 리뷰] Model Patching: Closing the Subgroup Performance Gap with Data Augmentation

Karan Goel, Albert Gu외 2명|arXiv (Cornell University)|2020. 08. 15.

Topic Modeling참고 문헌 97인용 수 45

한 줄 요약

모델 패칭 (CAMEL)이라고 하는 두 단계 프레임워크가 하위그룹 간 변환을 학습하고 CycleGAN 기반 증강을 하위그룹 일관성 규제와 함께 활용하여 하위그룹 강건성을 향상시키고 하위그룹 성능 차이를 줄이며 벤치마크 전반의 강건성 오류를 감소시킵니다.

ABSTRACT

Classifiers in machine learning are often brittle when deployed. Particularly concerning are models with inconsistent performance on specific subgroups of a class, e.g., exhibiting disparities in skin cancer classification in the presence or absence of a spurious bandage. To mitigate these performance differences, we introduce model patching, a two-stage framework for improving robustness that encourages the model to be invariant to subgroup differences, and focus on class information shared by subgroups. Model patching first models subgroup features within a class and learns semantic transformations between them, and then trains a classifier with data augmentations that deliberately manipulate subgroup features. We instantiate model patching with CAMEL, which (1) uses a CycleGAN to learn the intra-class, inter-subgroup augmentations, and (2) balances subgroup performance using a theoretically-motivated subgroup consistency regularizer, accompanied by a new robust objective. We demonstrate CAMEL's effectiveness on 3 benchmark datasets, with reductions in robust error of up to 33% relative to the best baseline. Lastly, CAMEL successfully patches a model that fails due to spurious features on a real-world skin cancer dataset.

연구 동기 및 목표

• 한 클래스 내 하위그룹 간의 취약한 분류기 성능에 동기를 부여하고 다룬다.
• 클래스 레이블을 보존하는 하위그룹 간 변환을 학습한다.
• 불변성을 향상시키기 위해 하위그룹 특성을 조작하는 데이터 증강으로 분류기를 훈련한다.
• 하위그룹 불변성과 상호정보 한계 사이의 이론적 보장을 제공한다.
• 여러 벤치마크 데이터셋과 실제 피부암 데이터셋에서 개선을 실증적으로 검증한다.

제안 방법

• Stage 1은 CycleGAN으로 하위그룹 간 변환을 학습하여 같은 클래스 내 하위그룹 간 예시를 변환한다.
• Stage 2는 원본 데이터와 증강 데이터를 사용하여 하위그룹 강건 목표와 하위그룹 일관성 정규화를 적용해 분류기를 훈련한다.
• 하위그룹 강건 목표는 클래스 조건부 최악의 하위그룹 성능(SGDRO)을 겨냥한다.
• 하위그룹 일관성 정규화 항은 하위그룹 특성에 대한 불변성을 강화하기 위해 하위그룹 증강 변형 간의 예측을 맞춰 적용한다.
• 총 목적함수는 SGDRO에 정규화 항을 결합한다: L_CAMEL = L_SGDRO + lambda * L_c.]
• research_questions:[

실험 결과

연구 질문

• RQ1 학습된 하위그룹 간 변환이 하위그룹 간 의미 있는 클래스 보존 증강을 생성할 수 있는가?
• RQ2 하위그룹에 초점을 맞춘 증강과 일관성 정규화를 통한 훈련이 강건성과 데이터세트 간 하위그룹 간 격차를 줄이는가?
• RQ3 증강과 정규화가 하위그룹 불변성과 연결되는 이론적 보장은 무엇인가?
• RQ4 CAMEL은 벤치마크 데이터셋과 실제 피부암 데이터에서 ERM 및 강건한 기준선과 어떻게 비교되는가?

주요 결과

• CAMEL은 벤치마크 전반에서 총합 및 강건 정확도를 향상시키고 하위그룹 성능 격차를 줄인다.
• MNIST-Correlation에서 CAMEL은 하위그룹 격차를 0.96%로 줄이고 강건 정확도는 97.89%이다.
• CelebA와 Waterbirds에서 CAMEL은 일관되게 베이스라인보다 개선되며 Waterbirds에서 하위그룹 격차를 최대 10.22% 포인트까지 감소시킨다.
• ISIC 피부암 데이터에서 CAMEL은 강건 정확도를 11.7% 증가시키고 악성 클래스 정확도를 65.59%에서 78.86%로 향상시킨다(본문 보고의 근사치).
• ablations는 학습된 증강 + 강한 일관성 정규화가 최고의 강건성을 낳고, 휴리스틱 증강이나 약한 일관성은 성능을 해칠 수 있음을 보여준다.
• MI 추정은 CAMEL이 하위그룹 불변 표현을 유도함을 나타내며 MNIST-Correlation에서 MI 추정값이 0.02로 감소(낮을수록 좋음).