[논문 리뷰] Exploring Self-attention for Image Recognition

Hengshuang Zhao, Jiaya Jia외 1명|arXiv (Cornell University)|2020. 04. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 33

한 줄 요약

이 논문은 이미지넷 규모의 이미지 인식에 대한 대안으로 쌍별(self-attention pairwise) 및 패치별(self-attention patchwise) 자기 주의 변형을 컨볼루션과 비교하고, 벡터 및 패치별 자기 주의가 더 낮거나 동등한 계산으로 컨볼루션 기반 기준과 일치하거나 능가할 수 있음을 보인다.

ABSTRACT

Recent work has shown that self-attention can serve as a basic building block for image recognition models. We explore variations of self-attention and assess their effectiveness for image recognition. We consider two forms of self-attention. One is pairwise self-attention, which generalizes standard dot-product attention and is fundamentally a set operator. The other is patchwise self-attention, which is strictly more powerful than convolution. Our pairwise self-attention networks match or outperform their convolutional counterparts, and the patchwise models substantially outperform the convolutional baselines. We also conduct experiments that probe the robustness of learned representations and conclude that self-attention networks may have significant benefits in terms of robustness and generalization.

연구 동기 및 목표

• 이미지 인식을 위한 빌딩 블록으로서 두 가지 형태의 자기 주의(pairwise 및 patchwise)를 조사한다.
• 자기 주의가 정확도, 매개변수 수, FLOPs에서 컨볼루션 네트워크를 맞추거나 능가할 수 있는지 평가한다.
• 자기 주의로 학습된 표현의 견고성 및 일반화 특성을 조사한다.

제안 방법

• 채널 적응 가중치와 위치 인코딩을 가진 집합 연산자로서의 쌍별 자기 주의를 형식화한다.
• 컨볼루션보다 Strictly 강력하고 위치- 및 채널 인식 가중치를 계산하는 패치 기반 자기 주의를 도입한다.
• 병목 레이어를 통한 선형 특징 변환과 주의를 교차시키는 자기 주의 블록들을 구성한다.
• 잔차와 유사한 블록 및 다중 스테이지 백본을 갖춘 SAN 아키텍처(SAN10, SAN15, SAN19)를 구축한다.
• ImageNet에서 ResNet 기반선과 비교하여 top-1/top-5 정확도, 매개변수 수, FLOPs를 평가한다.
• 설계 선택을 이해하기 위해 관계 함수, 매핑 함수, 풋프린트 크기, 위치 인코딩에 대한 제거 실험을 수행한다.

실험 결과

연구 질문

• RQ1 쌍별 자기 주의가 유사한 자원으로 이미지넷 규모의 정확도에 도달하거나 컨볼루션 기준보다 낫게 달성할 수 있는가?
• RQ2 패치별 자기 주의 변형이 컨볼루션 네트워크 및 그 매개변수/ FLOP 예산보다 실질적으로 성능이 우수한가?
• RQ3 다양한 관계 함수, 매핑 아키텍처, 풋프린트 크기 및 위치 인코딩이 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 자기 주의 네트워크가 순전히 컨볼루션 모델에 비해 견고성과 일반화가 향상되는가?

주요 결과

• 쌍별 자기 주의 네트워크가 유사하거나 더 낮은 매개변수 및 FLOP 예산으로 컨볼루션 상대 모델과 일치하거나 능가한다.
• 패치별 자기 주의 모델은 컨볼루션 기준을 크게 상회하며, SAN15는 78%의 top-1 정확도에 도달하고 ResNet50의 76%에 비해 매개변수와 FLOP이 더 적게 사용된다.
• 벡터(다채널) 주의가 제어된 실험에서 스칼라 주의보다 우수하다.
• 풋프린트를 크기를 늘리는 것이 일반적으로 자기 주의의 정확도를 개선하지만 한계에 도달할 때까지 개선되며, 패치별 주의는 고정 커널 크기에 의존하지 않고도 강력한 이점을 보인다.
• 상대 위치 인코딩은 인코딩 없음에 비해 성능을 크게 향상시키며, 절대 인코딩이 없음보다 더 낫다.
• 패치별 주의가 적용된 SAN 모델은 더 큰 ResNet보다도 뛰어날 수 있으며(예: SAN15 vs ResNet50), 매개변수 및 계산 효율이 더 좋다.
• 다양한 변환 함수(phi, psi, beta) 및 다층 주의 매핑은 성능을 향상시키며, 세 가지 서로 다른 변환이 종종 최상의 결과를 낳는다.