[논문 리뷰] A Closer Look at Model Adaptation using Feature Distortion and Simplicity Bias

Puja Trivedi, Danai Koutra외 1명|arXiv (Cornell University)|2023. 03. 23.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 LP+FT가 특성 왜곡을 줄여 OOD 일반화를 향상시키지만 여전히 단순성 편향(simpllicity bias)에 시달려 있음을 밝혀내며, 이는 校정(calibration)과 내성성(robustness)과 같은 안전성 지표를 악화시킨다. 이를 해결하기 위해, 가상의 적대적 훈련, 불확실성 기반 변형, 희소 스프로우(Sparse Soups)를 활용한 경 hardness 유도 선형 프로브(LP) 변형을 제안한다. 이는 단순성 편향을 크게 감소시키며, 세 가지 실제 데이터셋에서 안전성과 일반화 능력을 모두 향상시킨다.

ABSTRACT

Advances in the expressivity of pretrained models have increased interest in the design of adaptation protocols which enable safe and effective transfer learning. Going beyond conventional linear probing (LP) and fine tuning (FT) strategies, protocols that can effectively control feature distortion, i.e., the failure to update features orthogonal to the in-distribution, have been found to achieve improved out-of-distribution generalization (OOD). In order to limit this distortion, the LP+FT protocol, which first learns a linear probe and then uses this initialization for subsequent FT, was proposed. However, in this paper, we find when adaptation protocols (LP, FT, LP+FT) are also evaluated on a variety of safety objectives (e.g., calibration, robustness, etc.), a complementary perspective to feature distortion is helpful to explain protocol behavior. To this end, we study the susceptibility of protocols to simplicity bias (SB), i.e. the well-known propensity of deep neural networks to rely upon simple features, as SB has recently been shown to underlie several problems in robust generalization. Using a synthetic dataset, we demonstrate the susceptibility of existing protocols to SB. Given the strong effectiveness of LP+FT, we then propose modified linear probes that help mitigate SB, and lead to better initializations for subsequent FT. We verify the effectiveness of the proposed LP+FT variants for decreasing SB in a controlled setting, and their ability to improve OOD generalization and safety on three adaptation datasets.

연구 동기 및 목표

• 기존의 적응 프로토콜인 LP, FT, LP+FT가 강력한 일반화 성능을 보임에도 불구하고 안전성 지표에서 성능이 떨어지는 이유를 탐구하는 것.
• 모델이 단순하고 취약한 특징을 선호하는 단순성 편향이 적응 과정에서 모델의 안전성에 악영향을 미치는 방식을 분석하는 것.
• 특성 왜곡과 단순성 편향을 동시에 완화할 수 있는 개선된 LP+FT 프로토콜을 설계하여 더 나은 OOD 일반화 및 안전한 일반화를 달성하는 것.
• 경 하드니스 유도 LP 초기화가 더 견고한 미세조정을 이끌고 안전성 및 일반화 벤치마크에서 성능 향상을 이끌어내는지 검증하는 것.

제안 방법

• 단순한 특징과 복잡한 특징 간 상관관계를 통제할 수 있는 합성 도미노 데이터셋을 사용하여 단순성 편향을 고립하고 측정하는 것.
• 일반화(내부/외부 데이터 정확도) 및 안전성(교정, 내성성, 이상 탐지) 지표에서 표준 프로토콜(LP, FT, LP+FT)을 평가하는 것.
• 가상의 적대적 훈련(VAT), 불확실성 기반 변형(UDP), 희소 스프로우(Soup)를 포함한 세 가지 수정된 LP 초기화 방법을 설계하여 복잡하고 견고한 특징 학습을 유도하는 것.
• 이러한 개선된 LP 초기화를 LP+FT 프레임워크에 적용하여, 이후의 미세조정이 더 적은 편향과 더 견고한 표현에서 시작되도록 보장하는 것.
• 세 가지 실제 데이터셋(CIFAR-10, CIFAR-10-C, DomainNet)에서 이러한 프로토콜을 훈련하고 평가하여 다양한 안전성 및 일반화 지표에서 성능을 측정하는 것.
• 표현 유사도 평가를 위해 CKA(Centered Kernel Alignment)를 사용하여 사전학습된 모델과 적응된 모델 간의 표현 유사도를 분석하고, 특징 공간의 안정성을 확보하는 것.

실험 결과

연구 질문

• RQ1 LP+FT는 특성 왜곡을 줄였음에도 불구하고 교정 오차와 적대적 내성성과 같은 안전성 지표에서 성능이 떨어지는 이유는 무엇인가?
• RQ2 표준 적응 프로토콜(LP, FT, LP+FT)이 어느 정도 단순성 편향을 보이며, 이는 내성성과 안전성에 어떤 영향을 미치는가?
• RQ3 경 하드니스 유도 LP 초기화(VAT, UDP, Soup 등)는 LP 단계에서 단순성 편향을 줄이고 더 안전하고 일반화 능력이 뛰어난 미세조정된 모델을 도출할 수 있는가?
• RQ4 개선된 LP 초기화를 적용한 제안된 LP+FT 변종은 실제 데이터셋에서 표준 LP+FT에 비해 OOD 일반화 및 안전성 지표에서 뛰어난 성능을 보이는가?

주요 결과

• LP+FT는 OOD 일반화에 효과적이지만, 교정 오차와 오염에 대한 내성성과 같은 안전성 지표에서 LP 및 FT에 뒤지며, 이는 왜곡 제어만으로는 부족함을 시사한다.
• 합성 도미노 데이터셋에서 FT는 단순성 편향에 가장 취약하며, 특징 상관관계가 중간 수준일 경우 LP+FT는 균형 잡힌 트레이드오프를 보인다.
• LP(VAT) + FT 변종은 CIFAR-10-C에서 최고의 OOD 일반화(89.00% 정확도)와 내성성(93.75% 오염 정확도) 성능을 기록하며 표준 LP+FT를 능가한다.
• LP(Soup) + FT는 가장 높은 이상 탐지 AUROC(0.9265)를 기록하며 강력한 교정 성능도 유지하여 안전성 지표에서 표준 LP+FT를 능가한다.
• 수정된 LP+FT 프로토콜(특히 LP(VAT)+FT 및 LP(Soup)+FT)은 표현 유사도(CKA)와 내성성에서 뚜렷한 향상을 보이며, 더 복잡한 특징의 보존이 향상되었음을 시사한다.
• 경 하드니스 유도 LP 초기화는 합성 환경에서 단순한 특징에 대한 의존도를 낮추며, 실제 안전성 및 일반화 성능 향상으로 이어짐을 입증한다.