[논문 리뷰] Harnessing Out-Of-Distribution Examples via Augmenting Content and Style

Zhuo Huang, Xiaobo Xia외 5명|arXiv (Cornell University)|2022. 07. 07.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 구조적 인과 모델링을 활용하여 이미지의 콘텐츠와 스타일을 분리하는 새로운 프레임워크인 HOOD를 제안한다. 이를 통해 이상치 데이터(out-of-distribution, OOD) 중 양성과 악성의 효과적인 구별이 가능해지며, 이는 OOD 탐지 성능 향상과 함께 강건한 스타일 불변 모델을 생성한다. 변동형 추론을 통해 ELBO를 근사 최대화하고, 간섭을 통한 표적적 데이터 증강을 적용함으로써, HOOD는 상태의 최고 성능을 기록하며 개방형 세미-초기 학습, 도메인 적응, OOD 탐지 과제에서 모두 뛰어난 성능을 보인다.

ABSTRACT

Machine learning models are vulnerable to Out-Of-Distribution (OOD) examples, and such a problem has drawn much attention. However, current methods lack a full understanding of different types of OOD data: there are benign OOD data that can be properly adapted to enhance the learning performance, while other malign OOD data would severely degenerate the classification result. To Harness OOD data, this paper proposes a HOOD method that can leverage the content and style from each image instance to identify benign and malign OOD data. Particularly, we design a variational inference framework to causally disentangle content and style features by constructing a structural causal model. Subsequently, we augment the content and style through an intervention process to produce malign and benign OOD data, respectively. The benign OOD data contain novel styles but hold our interested contents, and they can be leveraged to help train a style-invariant model. In contrast, the malign OOD data inherit unknown contents but carry familiar styles, by detecting them can improve model robustness against deceiving anomalies. Thanks to the proposed novel disentanglement and data augmentation techniques, HOOD can effectively deal with OOD examples in unknown and open environments, whose effectiveness is empirically validated in three typical OOD applications including OOD detection, open-set semi-supervised learning, and open-set domain adaptation.

연구 동기 및 목표

• 개방형 기계 학습 환경에서 양성과 악성 OOD 데이터를 구분하는 데 도전하는 것.
• 유용한 OOD 데이터를 활용하면서 유해한 OOD 데이터를 탐지하고 제외함으로써 모델의 일반화 능력과 강건성을 향상시키는 것.
• 콘텐츠와 스타일 간의 유사한 상관관계를 깨뜨리는 분리 기법을 개발하여 더 이행성 있고 강건한 특징 학습을 가능하게 하는 것.
• 콘텐츠와 스타일에 대한 제어된 간섭을 통해 유의미한 유형의 OOD 샘플(양성 및 악성)을 생성하는 데이터 증강 전략을 설계하는 것.
• OOD 탐지, 개방형 세미-초기 학습, 개방형 도메인 적응이라는 세 가지 핵심 OOD 응용 분야에서 프레임워크의 실증적 검증을 수행하는 것.

제안 방법

• 이미지 X가 콘텐츠 C(객체 정체성)와 스타일 S(색상, 밝기, 방향성)로 분해되는 구조적 인과 모델(SCM)을 구성하며, 클래스 Y와 도메인 D는 이후 목표로 한다.
• 콘텐츠와 스타일의 인과적 분리를 가능하게 하기 위해, 공동 분포 P(X, Y, D)의 근사 증거 하한 경계(ELBO)를 최대화하는 변동형 추론 프레임워크를 적용한다.
• 딥 러닝에서 흔히 발생하는 콘텐츠와 스타일 간의 유사 상관관계를 간섭을 통해 명시적으로 파괴함으로써, 콘텐츠가 스타일 변화에 영향을 받지 않도록 보장한다.
• 기존의 콘텐츠를 유지하면서 새로운 시각적 스타일을 도입함으로써, 콘텐츠는 그대로 유지되지만 스타일만 변화된 새로운 스타일을 가진 유의미한 OOD 데이터를 생성함으로써 일반화 능력을 향상시킨다.
• 기존의 스타일을 유지하면서 알려지지 않은 콘텐츠를 도입함으로써, 내부 분포 데이터를 모방하지만 새로운 클래스를 포함하는 샘플을 생성함으로써 OOD 탐지에 대한 강건성을 향상시킨다.
• 콘텐츠 예측(콘텐츠 특징 사용)을 위한 하나의 분류기와 도메인 예측(스타일 특징 사용)을 위한 하나의 분류기를 갖춘 이중 브랜치 헤드를 통해 프레임워크를 종단 간(end-to-end)으로 학습시켜, 분리가 유지되도록 한다.

실험 결과

연구 질문

• RQ1 구조적 인과 모델을 사용하여 이미지 데이터에서 콘텐츠와 스타일을 효과적으로 분리할 수 있는가? 이는 OOD 일반화 능력을 향상시키는 데 기여하는가?
• RQ2 새로운 스타일을 가진 콘텐츠가 있지만 기존 콘텐츠가 그대로인 유의미한 OOD 데이터를 활용하여 스타일 불변 모델을 훈련시킬 수 있는가?
• RQ3 기존 스타일을 유지하지만 알려지지 않은 콘텐츠를 가진 악성 OOD 데이터를 사용하여 이상치 탐지 능력을 향상시킬 수 있는가?
• RQ4 제안된 간섭 기반 데이터 증강 전략이 개방형 학습과 OOD 탐지 성능 향상에 기여하는가?
• RQ5 분리 기법이 도메인 이동 및 분포 이동 상황에서 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• HOOD는 OOD 탐지, 개방형 세미-초기 학습, 개방형 도메인 적응 벤치마크에서 최고 성능을 기록한다.
• 제거 실험(ablation study) 결과, 유의미한 OOD 데이터와 악성 OOD 데이터 모두가 필수적임을 확인하였다. 둘 중 하나를 제거할 경우 성능 저하가 발생한다.
• 분리 기법은 일반화 능력을 크게 향상시키며, 특히 도메인 불변 특징이 핵심이 되는 개방형 도메인 적응에서 두드러진다.
• 스타일이 극적으로 변화하더라도 콘텐츠 분류 정확도를 높게 유지함으로써, 효과적인 콘텐츠 유지 능력을 입증한다.
• 간섭 기반 증강 전략은 성공적으로 유의미한 OOD 데이터와 악성 OOD 데이터를 생성하였으며, 시각화 결과 유의미한 증강에서는 콘텐츠가 유지된 반면, 악성 증강에서는 콘텐츠가 변화된 것으로 확인되었다.
• 증강 수에 대한 제거 실험 결과, 샘플당 네 개의 증강이 최적의 성능을 낼 수 있었으며, 다양성과 분류 난이도 사이의 균형을 잘 맞춘 것으로 나타났다.