[논문 리뷰] Learning from Adversarial Features for Few-Shot Classification

Wei Shen, Ziqiang Shi외 1명|arXiv (Cornell University)|2019. 03. 25.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 8

한 줄 요약

이 논문은 기울기 기반의 주의 맵에서 유도된 적대적 특징을 기반으로 훈련하여 일반화 성능을 향상시키는 간단하면서도 효과적인 적대적 특징 학습 방법을 제안한다. 이는 작업별 특화된 적응 없이 일반화 성능을 향상시킨다. 이 방법은 특징 맵의 공간적 탐색을 장려하고 다중 척도 특징을 활용하여 더 정확한 주의 지역화를 가능하게 하여, miniImageNet과 tieredImageNet에서 5-way 1-shot 및 5-way 5-shot 작업 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many recent few-shot learning methods concentrate on designing novel model architectures. In this paper, we instead show that with a simple backbone convolutional network we can even surpass state-of-the-art classification accuracy. The essential part that contributes to this superior performance is an adversarial feature learning strategy that improves the generalization capability of our model. In this work, adversarial features are those features that can cause the classifier uncertain about its prediction. In order to generate adversarial features, we firstly locate adversarial regions based on the derivative of the entropy with respect to an averaging mask. Then we use the adversarial region attention to aggregate the feature maps to obtain the adversarial features. In this way, we can explore and exploit the entire spatial area of the feature maps to mine more diverse discriminative knowledge. We perform extensive model evaluations and analyses on miniImageNet and tieredImageNet datasets demonstrating the effectiveness of the proposed method.

연구 동기 및 목표

• 모델이 훈련 클래스에 과적합되고 새로운 클래스에서 실패하는 소수의 샘플 학습에서의 일반화 갭을 해결하기 위해.
• 구조적 복잡성 없이도 학습된 특징의 강건성과 다양성을 향상시키기 위해.
• 특징 맵의 적대적 변형을 사용하여 특징 추출기의 일반화 성능을 향상시키는 훈련 전략을 개발하기 위해.
• 재학습이나 적응 없이도 하나의 모델이 다양한 소수의 샘플 설정(예: 1-shot 및 5-shot)에서 잘 작동하도록 하기 위해.

제안 방법

• 엔트로피에 대한 평균 마스크에 대한 기울기를 계산하여 적대적 특징을 생성함으로써, 분류기의 불확실성을 유발하는 영역을 식별한다.
• 적대적 영역 주의 메커니즘을 학습하여 특징 맵을 집계함으로써, 모델이 두드러진 영역을 넘어서 전체 공간 범위를 탐색하도록 유도한다.
• 다양한 합성곱 레이어에서 유도된 다중 척도 특징을 사용하여 더 정확한 주의 마스크를 생성하는 분류기를 훈련한다.
• 전역 평균 풀링, 적대적 특징, 고수준 특징을 조합한 다중 척도 분류 손실을 사용하여 모델 파라미터를 업데이트한다.
• 적대적 주의 마스크는 전역 평균 풀링 특징에서 유도되며, 훈련 중에 특징 표현을 변형하는 데 적용된다.
• 최종 특징 추출기는 엔드 투 엔드로 훈련되며, 추론 시에는 전역 평균 풀링만 사용하고 새로운 작업에 대한 적응이 필요 없다.

실험 결과

연구 질문

• RQ1 구조적 수정 없이도 적대적 특징 학습이 소수의 샘플 분류에서 일반화 성능 향상에 기여할 수 있는가?
• RQ2 적대적 특징을 기반으로 훈련하면 훈련 데이터의 두드러진 분류적 영역에 대한 과적합을 줄일 수 있는가?
• RQ3 적대적 특징을 사용해 훈련한 하나의 모델이 다양한 소수의 샘플 설정(예: 1-shot 대비 5-shot)에서 효과적으로 일반화될 수 있는가?
• RQ4 다중 척도 특징 학습은 적대적 주의 영역의 정확도와 지역화 정확도에 어떤 영향을 미치는가?
• RQ5 적대적 특징 훈련은 테스트 특징에 대한 적대적 변형에 대해 얼마나 강건성을 향상시키는가?

주요 결과

• 제안된 방법은 miniImageNet과 tieredImageNet에서 5-way 1-shot 및 5-way 5-shot 작업 모두에서 최신 기술 수준의 정확도를 달성하며, 작업별 특화된 적응 없이도 이전 방법들을 능가한다.
• miniImageNet에서 기준 모델 대비 1-shot 작업에서 5.04%p의 절대적 향상과 5-shot 작업에서 4.65%p의 향상을 기록했다.
• tieredImageNet에서는 1-shot 작업에서 3.33%p, 5-shot 작업에서 3.02%p의 향상을 기록하여 과적합이 더 심각한 작은 데이터셋에서 더 큰 성과를 보였다.
• 적대적 특징를 사용해 훈련한 모델는 적대적 변형에 대해 훨씬 더 높은 강건성을 보이며, γ 값이 증가함에 따라 안정적인 성능을 유지했다.
• 다중 척도 특징 학습은 주의 지역화 정확도를 향상시켜 단일 척도 기반 모델 대비 배경을 객체로 잘못 분류하는 것을 줄였다.
• 제거 실험 결과는 적대적 주의가 특징 맵의 공간적 탐색을 향상시켜 과적합을 감소시키고 일반화 성능을 향상시킨다는 것을 확인했다.