[논문 리뷰] Zero-Shot Learning by Harnessing Adversarial Samples

Zhi Chen, Pengfei Zhang외 3명|arXiv (Cornell University)|2023. 08. 01.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 일반화를 향상시키되 의미적 왜곡을 유발하지 않는 의미 보존형 적대적 증강을 생성하는 새로운 제로샷 학습(ZSL) 방법인 적대적 샘플 활용(HAS)을 제안한다. 속성 조건화, 잠재공간 제약, 다양성 있는 편향을 강제함으로써 HAS는 CUB, FGVCAircraft, Stanford Cars 데이터셋에서 제로샷 학습 및 일반화된 제로샷 학습 설정 모두에서 최고 성능을 달성한다.

ABSTRACT

Zero-Shot Learning (ZSL) aims to recognize unseen classes by generalizing the knowledge, i.e., visual and semantic relationships, obtained from seen classes, where image augmentation techniques are commonly applied to improve the generalization ability of a model. However, this approach can also cause adverse effects on ZSL since the conventional augmentation techniques that solely depend on single-label supervision is not able to maintain semantic information and result in the semantic distortion issue consequently. In other words, image argumentation may falsify the semantic (e.g., attribute) information of an image. To take the advantage of image augmentations while mitigating the semantic distortion issue, we propose a novel ZSL approach by Harnessing Adversarial Samples (HAS). HAS advances ZSL through adversarial training which takes into account three crucial aspects: (1) robust generation by enforcing augmentations to be similar to negative classes, while maintaining correct labels, (2) reliable generation by introducing a latent space constraint to avert significant deviations from the original data manifold, and (3) diverse generation by incorporating attribute-based perturbation by adjusting images according to each semantic attribute's localization. Through comprehensive experiments on three prominent zero-shot benchmark datasets, we demonstrate the effectiveness of our adversarial samples approach in both ZSL and Generalized Zero-Shot Learning (GZSL) scenarios. Our source code is available at https://github.com/uqzhichen/HASZSL.

연구 동기 및 목표

• 기존의 픽셀 값만 변경하는 이미지 증강 기법이 속성 수준의 의미를 보존하지 못해 발생하는 의미 왜곡 문제를 해결하기 위해.
• 다양하고 강건하며 의미적으로 일관된 데이터 증강을 생성하는 적대적 훈련을 활용하여 ZSL에서 모델의 일반화 능력을 향상시키기 위해.
• 지역화된 속성에 기반한 조건화와 데이터 만만에 제약을 두어 데이터 증강 중 의미 일관성을 유지하기 위해.
• 의미적 속성과 가장 관련 깊은 영역에 집중하여 편향을 적용함으로써 더 정확한 속성 위치 특정과 예측을 가능하게 하기 위해.
• 기존 증강 기법에 비해 적대적 샘플이 표준 및 일반화된 제로샷 학습 환경 모두에서 우월함을 입증하기 위해.

제안 방법

• 의미 지도 정보에 기반한 적대적 노이즈를 생성함으로써 이미지의 변화가 의미를 왜곡하지 않도록 보장하는 적대적 훈련을 적용한다.
• 적대적 샘플이 원래 데이터 만만에 가까이 있도록 잠재공간 제약을 적용하여 의미 학습을 방해할 수 있는 큰 이탈을 방지한다.
• 특정 의미적 속성의 공간적 국소화에 기반한 속성 기반 편향을 도입함으로써 관련성과 다양성을 향상시킨다.
• 전경과 배경의 편향을 분리하여 객체 영역에만 집중적으로 조작함으로써 배경 맥락에 대한 간섭을 최소화한다.
• 적대적 편향에 노출된 상황에서도 정확한 속성 예측을 유지하도록 모델을 훈련시어 강건성과 의미 충실도를 확보한다.
• 속성 조건화 생성과 적대적 손실을 통합하여 다양하면서도 의미 지도에 충실한 증강을 생성한다.

실험 결과

연구 질문

• RQ1 의미 일관성을 유지하면서 제로샷 학습의 일반화 능력을 향상시키기 위해 적대적 샘플을 효과적으로 활용할 수 있는가?
• RQ2 ZSL에서 데이터 증강 중 속성 수준의 의미를 유지하기 위해 어떻게 적대적 훈련을 적응시킬 수 있는가?
• RQ3 의미 왜곡을 줄이는 데 있어 적대적 데이터 생성이 기존의 이미지 증강 기법보다 뛰어나다고 할 수 있는가?
• RQ4 적대적 편향은 제로샷 학습에서 속성 위치 특정과 예측 정확도를 어느 정도 향상시킬 수 있는가?
• RQ5 제안된 방법은 일반화된 제로샷 학습을 포함한 다양한 ZSL 벤치마크와 설정에서 일반화 가능한가?

주요 결과

• 제안된 HAS 방법은 CUB, FGVCAircraft, Stanford Cars와 같은 세 가지 주요 제로샷 학습 벤치마크에서 최고 성능을 달성한다.
• CUB 데이터셋에서 HAS는 ZSL 정확도 58.7%와 GZSL 정확도 48.9%를 기록하여 두 설정 모두에서 이전 방법들을 능가한다.
• 제거 실험 결과, 강건성, 신뢰성, 다양성 있는 생성이라는 세 가지 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• 주의 맵의 시각화 결과, 모델이 올바른 속성 관련 영역에 집중하고 있음을 확인하였으며, 국소화된 편향 덕분에 위치 특정 능력 향상이 이루어졌음을 확인하였다.
• 편향 분석 결과, 적대적 노이즈가 주로 전경 객체에 적용되며 배경에 거의 영향을 주지 않아 의미 맥락이 유지됨을 확인하였다.
• 이 방법은 의미 왜곡을 효과적으로 완화한다: 기존 증강 기법과 달리 잘못된 속성 예측을 방지하며, 속성 공간 내에서 명확한 분리가 유지된다.