[논문 리뷰] ASR: Attention-alike Structural Re-parameterization

Shanshan Zhong, Zhongzhan Huang외 3명|arXiv (Cornell University)|2023. 04. 13.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 주목사용 모듈에 대한 구조적 재매개변수화를 가능하게 하는 새로운 방법인 ASR(Attention-alike Structural Re-parameterization)를 제안한다. 이는 훈련 중에 채널 주목사용 값이 일정한 벡터로 수렴하는 통계적 현상인 'Stripe Observation'을 이용한 것이다. ASR는 추가 파라미터나 추론 비용 없이 표준 주목사용 모듈과 비교할 만한 성능 향상을 달성하여 실세계 응용에서 주목사용 메커니즘의 효율적 구현을 가능하게 한다.

ABSTRACT

The structural re-parameterization (SRP) technique is a novel deep learning technique that achieves interconversion between different network architectures through equivalent parameter transformations. This technique enables the mitigation of the extra costs for performance improvement during training, such as parameter size and inference time, through these transformations during inference, and therefore SRP has great potential for industrial and practical applications. The existing SRP methods have successfully considered many commonly used architectures, such as normalizations, pooling methods, and multi-branch convolution. However, the widely used attention modules which drastically slow inference speed cannot be directly implemented by SRP due to these modules usually act on the backbone network in a multiplicative manner and the modules' output is input-dependent during inference, which limits the application scenarios of SRP. In this paper, we conduct extensive experiments from a statistical perspective and discover an interesting phenomenon Stripe Observation, which reveals that channel attention values quickly approach some constant vectors during training. This observation inspires us to propose a simple-yet-effective attention-alike structural re-parameterization (ASR) that allows us to achieve SRP for a given network while enjoying the effectiveness of the attention mechanism. Extensive experiments conducted on several standard benchmarks demonstrate the effectiveness of ASR in generally improving the performance of existing backbone networks, attention modules, and SRP methods without any elaborated model crafting. We also analyze the limitations and provide experimental and theoretical evidence for the strong robustness of the proposed ASR.

연구 동기 및 목표

• 입력에 따라 달라지는 곱셈 연산으로 인해 기존의 구조적 재매개변수화(SRP) 방법이 주목사용 모듈과 호환되지 않는 문제를 해결한다.
• 주목사용 메커니즘을 추가 추론 비용 없이 SRP 프레임워크에 통합할 수 있는지 탐구한다.
• 채널 주목사용 값이 훈련 중에 일정한 벡터로 수렴하는 통계적 현상인 'Stripe Observation'을 발견하고 검증한다.
• 성능 이점을 유지하면서 주목사용 모듈에 대한 SRP를 가능하게 하는 단순하면서도 효과적인 방법인 ASR을 개발한다.
• 구조적 수정 없이 다양한 백본 네트워크와 벤치마크에서 ASR의 강건성과 일반화 능력을 입증한다.

제안 방법

• Stripe Observation 제안: 다양한 입력에 대해 주목사용 맵의 통계적 분 析를 통해 훈련 중에 채널 주목사용 값이 빠르게 일정한 벡터로 수렴하는 현상을 관찰한다.
• 훈련 중에 주목사용 모듈에 가용 가능한 벡터를 입력으로 사용하는 ASR를 설계하여 일정한 주목사용 값의 행동을 모방한다.
• 추론 단계에서는 주목사용 모듈이 백본과 등가적인 매개변수 변환을 통해 통합되어 추가 파라미터나 계산이 제거된다.
• 주목사용 모듈의 출력과 가용 가능한 스케일링 벡터 간의 등가성을 활용하여 SRP 프레임워크 내에서의 구조적 재매개변수화를 가능하게 한다.
• 다양한 주목사용 모듈(예: SE, IE, SRM)과 백본(예: ResNet, ViT)에 적용하여 호환성과 성능 향상을 입증한다.
• 특정 주목사용 모듈에 종속되지 않아 복잡한 주목사용 메커니즘을 추론 오버헤드 없이 탄력적으로 통합할 수 있다.

실험 결과

연구 질문

• RQ1 입력에 따라 달라지는 곱셈 연산을 가지는 주목사용 모듈이 입력 의존적 성격을 지닌다 해도, 구조적 재매개변수화(SRP) 프레임워크에 효과적으로 통합될 수 있는가?
• RQ2 Stripe Observation가 제기한 바와 같이, 훈련 중에 채널 주목사용 값이 일정한 벡터로 수렴하는가?
• RQ3 훈련 중에 동적 주목사용 맵을 대체하기 위해 가용 가능한 벡터를 사용할 수 있는가? 이는 성능 저하 없이 SRP를 가능하게 한다.
• RQ4 ASR가 주목사용 모듈의 추론 비용을 제거하면서도 다양한 벤치마크에서 모델 정확도를 유지하거나 향상시키는가?
• RQ5 표준 주목사용 또는 기준 모델 대비 ASR는 적대적 노이즈와 분포 이동 상황에서 얼마나 강건한가?

주요 결과

• Stripe Observation는 훈련 중에 모든 입력에 대해 채널 주목사용 값이 거의 일정한 벡터로 수렴함을 드러내며, 표준편차는 0에 수렴하고 일阶 차이가 빠르게 안정화됨을 확인한다.
• ResNet164를 사용할 때 CIFAR100에서 최상위 1정확도를 최대 1.26% 향상시키며, IE 모듈을 사용할 경우 STL10에서 최대 2.77% 향상되며, 파라미터나 추론 시간이 증가하지 않는다.
• ImageNet에서 SE 모듈을 사용할 경우 ASR는 기준 모델 대비 정확도를 0.46% 향상시키며, 표준 주목사용 모듈 대비 36.4%의 FPS 손실 감소를 기록한다.
• ASR 향상 모델은 일정한 노이즈 및 무작위 노이즈 공격 하에서 뛰어난 강건성을 보이며, 최상위 1정확도의 분산이 낮고 성능 저하가 감소한다.
• ASR에서 주목사용 모듈을 제거하고 단지 가용 가능한 벡터만 사용할 경우 성능 향상이 발생하지만, 적절한 주목사용 모듈을 사용할 때보다는 크게 낮다. 이는 주목사용 구조의 중요성을 확인한다.
• ASR는 공간적 또는 트랜스포머 기반 주목사용 메커니즘에는 직접 적용되지 않으며, 이들의 주목사용 맵이 여전히 입력 의존적이며 Stripe Observation을 나타내지 않기 때문이다.