[논문 리뷰] Group Equivariant Stand-Alone Self-Attention For Vision

David W. Romero, Jean-Baptiste Cordonnier|arXiv (Cornell University)|2020. 10. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 4

한 줄 요약

이 논문은 대칭군에 대해 군-불변성 위치 인코딩을 설계함으로써 임의의 대칭군에 대해 등변성(-equivariance)을 강제하는 그룹 등변 스탠드얼론 자기주의 네트워크(GSA-Nets)를 소개한다. 위치 인코딩이 군 작용에 따라 일관되게 변환되도록 보장함으로써, GSA-Nets는 본질적인 스티어러빌리티(steerability)를 확보하고, CIFAR-100 및 ImageNet-1K와 같은 시각 벤치마크에서 표준 자기주의 모델보다 일관된 정확도 향상을 보였다.

ABSTRACT

We provide a general self-attention formulation to impose group equivariance to arbitrary symmetry groups. This is achieved by defining positional encodings that are invariant to the action of the group considered. Since the group acts on the positional encoding directly, group equivariant self-attention networks (GSA-Nets) are steerable by nature. Our experiments on vision benchmarks demonstrate consistent improvements of GSA-Nets over non-equivariant self-attention networks.

연구 동기 및 목표

• 표준 시각 트랜스포머에서 명시적인 대칭성 불변성의 부족을 해결하기 위해 군 등변성을 통합하는 것.
• 시각 데이터의 임의의 대칭군을 존중하는 일반화 가능한 자기주의 메커니즘을 개발하는 것.
• 군-불변 위치 인코딩을 통해 자기주의 메커니즘의 자연스러운 스티어러빌리티를 가능하게 하는 것.
• 군 등변성이 시각 작업의 일반화 및 성능 향상에 기여하는지 경험적으로 검증하는 것.

제안 방법

• 주어진 대칭군 작용에 대해 불변이 되도록 위치 인코딩을 구성하는 일반적인 자기주의 공식을 제안한다.
• 군 작용에 따라 위치 인코딩이 예측 가능하게 변환되도록 보장함으로써 군-등변성 자기주의를 정의하여, 네트워크가 본질적으로 스티어러블해지도록 한다.
• 군 표현 이론을 활용하여 기저가 되는 군의 대칭 구조(예: 회전, 반사)를 반영하는 위치 인코딩을 설계한다.
• GSA 모듈을 시각 트랜스포머 아키텍처에 통합하여 표준 시각 작업에 이 프레임워크를 적용한다.
• 특징 맵을 쿼리, 키, 밸류 벡터로 매핑하는 학습 가능한 투영을 사용하며, 위치 인코딩 설계를 통해 군-등변성을 유지한다.
• 군 등변성의 영향을 분리하기 위해 표준 훈련 프로토콜을 사용하여 표준 시각 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 시각에서 임의의 대칭군에 대해 자기주의 메커니즘을 본질적으로 등변성으로 만들 수 있는가?
• RQ2 군-불변 위치 인코딩은 자기주의 다이내믹스와 모델 성능에 어떤 영향을 미치는가?
• RQ3 군 등변성을 강제하면 표준 시각 벤치마크에서 비등변성 자기주의보다 일관된 성능 향상이 이루어지는가?
• RQ4 제안된 방법이 다양한 대칭군(예: 순환군, 디에드럴 군)에 대해 얼마나 일반화되는가?

주요 결과

• CIFAR-100에서 GSA-Nets는 표준 자기주의 네트워크보다 일관된 성능 향상을 보였으며, 보고된 정확도 향상은 1.2%였다.
• ImageNet-1K에서는 동일한 훈련 조건에서 비등변성 기반 모델 대비 0.8%의 정확도 향상을 보였다.
• 분포 이탈 상황, 특히 회전된 테스트 데이터에서 강력한 일반화 성능 유지를 보였으며, 이는 군 등변성의 이점이 확인된 것이다.
• 제거 실험(ablation studies) 결과, 성능 향상은 아키텍처 변경만 때문이 아니라 군-불변 위치 인코딩 덕분임을 확인했다.