[논문 리뷰] A Simple Cache Model for Image Recognition

A. Emin Orhan|arXiv (Cornell University)|2018. 05. 21.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 8

한 줄 요약

이 논문은 테스트 시점에서 사전 훈련된 이미지 인식 모델의 성능을 향상시키기 위해 출력에 가까운 중간 레이어에서 유의미한 클래스 특징을 활용하는 간단하고 훈련 불필요한 캐시 기반 메커니즘을 제안한다. 정규화된 특징 표현을 키로, 원핫 인코딩된 레이블을 값으로 저장하고, 네트워크의 소프트맥스 출력과 가중치 기반 융합을 통해, 재훈련 없이도 다양한 아키텍처와 데이터셋에서 뚜렷한 정확도 향상을 달성하며, 적대적 공격에 대한 강건성 또한 향상시킨다.

ABSTRACT

Training large-scale image recognition models is computationally expensive. This raises the question of whether there might be simple ways to improve the test performance of an already trained model without having to re-train or fine-tune it with new data. Here, we show that, surprisingly, this is indeed possible. The key observation we make is that the layers of a deep network close to the output layer contain independent, easily extractable class-relevant information that is not contained in the output layer itself. We propose to extract this extra class-relevant information using a simple key-value cache memory to improve the classification performance of the model at test time. Our cache memory is directly inspired by a similar cache model previously proposed for language modeling (Grave et al., 2017). This cache component does not require any training or fine-tuning; it can be applied to any pre-trained model and, by properly setting only two hyper-parameters, leads to significant improvements in its classification performance. Improvements are observed across several architectures and datasets. In the cache component, using features extracted from layers close to the output (but not from the output layer itself) as keys leads to the largest improvements. Concatenating features from multiple layers to form keys can further improve performance over using single-layer features as keys. The cache component also has a regularizing effect, a simple consequence of which is that it substantially increases the robustness of models against adversarial attacks.

연구 동기 및 목표

• 사전 훈련된 이미지 인식 모델의 테스트 시점 성능을 재훈련 또는 미세조정 없이 향상시키는 것.
• 학습 데이터에 잘 반영되지 않은 희귀하지만 특징이 뚜렷한 이미지 특징을 캐시에 저장하여 이를 해결하는 것.
• 캐시 메커니즘의 정규화 효과를 통해 모델의 적대적 공격에 대한 강건성을 향상시키는 것.
• 모델 아키텍처에 관계없이 적용 가능한 플러그 앤 플레이 솔루션을 제공하며, 두 개의 하이퍼파rameter만 필요로 하는 것.

제안 방법

• 캐시는 키-밸류 쌍을 사용하며, 키는 출력 레이어에 가까운 한 개 이상의 레이어에서 추출한 정규화된 활성화값의 연결이고, 밸류는 원핫 인코딩된 클래스 레이블이다.
• 테스트 입력에 대해, 온도 조정된 내적곱(식 1)을 사용해 해당 표현과 캐시된 키 간의 유사도 점수를 계산한다.
• 캐시된 밸류의 가중 평균을 통해 메모리 기반 예측 분포를 도출한다(식 2), 이를 네트워크의 원본 소프트맥스 출력과 융합한다(식 3).
• 융합은 하이퍼파rameter λ로 제어되며, 유사도의 날카기 정도는 θ로 제어되며, 이 두 값은 검증 데이터를 기반으로 그리드 서치를 통해 최적화된다.
• 키는 훈련 데이터의 일부를 사용해 훈련된 네트워크에서 추출되며, 캐시 또는 메인 네트워크에 대한 추가 훈련은 수행되지 않는다.
• 이 방법은 추론 후 적용되기 때문에 아키텍처에 독립적이며 쉽게 구현이 가능하다.

실험 결과

연구 질문

• RQ1 사전 훈련된 이미지 분류기가 재훈련 또는 미세조정 없이도 테스트 시점 성능을 향상시킬 수 있는가?
• RQ2 중간 레이어의 특징을 캐시에 저장하면, 특히 희귀하거나 특징이 뚜렷한 특징에 대해 일반화 성능이 향상되는가?
• RQ3 간단한 키-밸류 캐시가 적대적 예시에 대한 강건성을 향상시킬 수 있는가?
• RQ4 레이어 선택 및 특징의 조합 방식이 캐시 성능에 어떤 영향을 미치는가?
• RQ5 캐시 크기와 하이퍼파rameter 튜닝이 정확도와 강건성에 미치는 영향은 무엇인가?

주요 결과

• 캐시 모델은 기준 모델 대비 CIFAR-10과 CIFAR-100에서 각각 최대 4.29%와 6.49%의 상위-1 정확도 향상을 기록한다.
• 출력 레이어에 가까운 레이어(예: ResNet의 레이어 3)에서 추출한 특징을 사용할 경우 성능 향상이 가장 크며, 이는 이전 레이어보다 우수하다.
• 여러 레이어의 특징을 연결하여 사용할 경우 단일 레이어 키보다 성능 향상이 뚜렷하며, 특히 마지막 몇 레이어의 특징을 조합했을 때 최고의 성능를 기록한다.
• 캐시 전용 버전(λ = 1)은 ResNet20 기준 CIFAR-10에서 11.87%의 상위-1 정확도를 기록하며, CIFAR-100에서는 39.18%를 기록하여 강력한 일반화 능력을 보였다.
• 캐시 메커니즘이 FGSM 및 PGD 적대적 공격에 대해 상당한 강건성을 향상시켜, 모델의 입력 공간 행동에 정규화 효과가 있음을 시사한다.
• 이 방법은 ResNet20, 32, 56를 포함한 다양한 아키텍처와 ImageNet을 포함한 여러 데이터셋에서 효과적이며, 일관된 성능 향상이 관찰되었다.