[논문 리뷰] Locally Enhanced Self-Attention: Combining Self-Attention and Convolution as Local and Context Terms

Chenglin Yang, Siyuan Qiao외 2명|arXiv (Cornell University)|2021. 07. 12.

Advanced Neural Network Applications참고 문헌 52인용 수 4

한 줄 요약

이 논문은 공유 쿼리/키/밸류 프로젝션을 사용하여 자기주의를 국소(일원) 및 맥락(이원) 항목으로 분해하는 새로운 주의 메커니즘인 로컬로 강화된 자기주의(LESA)를 제안한다. 이는 국소 항목을 그룹화된 컨볼루션을 통해 향상시키고, 양항적 융합 모듈을 도입하여 양항을 적응적으로 조합함으로써, 파라미터 수가 기존 모델들보다 적은데도 ImageNet, COCO 검출 및 인스턴스 세그멘테이션에서 최신 기준 성능을 달성한다.

ABSTRACT

Self-Attention has become prevalent in computer vision models. Inspired by fully connected Conditional Random Fields (CRFs), we decompose self-attention into local and context terms. They correspond to the unary and binary terms in CRF and are implemented by attention mechanisms with projection matrices. We observe that the unary terms only make small contributions to the outputs, and meanwhile standard CNNs that rely solely on the unary terms achieve great performances on a variety of tasks. Therefore, we propose Locally Enhanced Self-Attention (LESA), which enhances the unary term by incorporating it with convolutions, and utilizes a fusion module to dynamically couple the unary and binary operations. In our experiments, we replace the self-attention modules with LESA. The results on ImageNet and COCO show the superiority of LESA over convolution and self-attention baselines for the tasks of image recognition, object detection, and instance segmentation. The code is made publicly available.

연구 동기 및 목표

• 표준 자기주의에서 국소 항목의 기여가 제한되어 있음에도 불구하고, 이는 정밀한 특징 표현에 필수적이지만 소프트맥스 정규화로 인해 활용도가 낮다는 문제를 해결하기 위해.
• 정체성 스키패스 연결의 약점을 극복하기 위해, 국소 항목의 표현 능력을 향상시키기 위해 그룹화된 컨볼루션을 통합함으로써 자기주의의 일원 항목 표현 능력을 향상시키기 위해.
• 입력에 따라 변화하는 주의 가중치를 사용하여 국소 및 맥락 항목을 적응적으로 결합하는 동적 융합 모듈을 도입함으로써, 다양한 비전 작업에서 성능 향상을 이끌어내기 위해.
• 병렬적이고 학습 가능한 융합 메커니즘을 통해 컨볼루션과 자기주의를 조합함으로써, 기존 방법보다 더 높은 정확도와 효율성을 달성할 수 있음을 입증하기 위해.

제안 방법

• 완전 연결 CRF에서 영감을 얻어, 공유 쿼리, 키, 밸류 프로젝션을 사용하여 자기주의를 일원(국소) 및 이원(맥락) 항목으로 분해한다.
• 정체성 스키패스 연결을 그룹화된 컨볼루션으로 대체하여 일원 항목을 향상시킴으로써 더 풍부한 국소 특징 학습을 가능하게 한다.
• 다중 헤드 주의를 그룹화된 컨볼루션 이후에 위치한 프로젝션 레이어를 통해 구현함으로써 다중 헤드 용량을 유지한다.
• 입력 기반의 가중치 ωˡ(x)를 계산하는 동적 융합 모듈을 제안하여, 이항 항목이 요소별 덧셈 이전에 조정될 수 있도록 한다.
• 일원 항목과 이원 항목 모두 동일한 입력 특징을 사용함으로써, 파라미터 효율성을 확보하면서 동시에 엔드 투 엔드 학습을 가능하게 한다.
• ResNet 및 WRN 백본의 공간 컨볼루션 레이어를 마지막 두 스테이지에서 LESA로 교체하고, ImageNet, COCO 검출 및 인스턴스 세그멘테이션에서 평가한다.

실험 결과

연구 질문

• RQ1 자기주의의 국소 항목을 충분히 향상시켜 전역 맥락 모델링을 훼손하지 않으면서도 특징 표현을 향상시킬 수 있는가?
• RQ2 자기주의의 일원 항목에 컨볼루션 연산을 통합함으로써, 표준 자기주의 또는 단순 컨볼루션 대비 더 높은 성능을 달성할 수 있는가?
• RQ3 입력 기반의 동적 융합 메커니즘이 국소 및 맥락 항목을 정적 또는 고정 가중치로 융합하는 것보다 더 나은 성능을 내는가?
• RQ4 제안된 국소로 강화된 자기주의(LESA)는 기존의 하이브리드 컨볼루션-자기주의 아키텍처보다 더 효과적이고 파라미터 효율적인가?

주요 결과

• ResNet50를 사용할 때 LESA는 ImageNet에서 79.55%의 정확도를 달성하여, 자기주의(78.69%)와 Attention Augmentation(78.74%)를 모두 앞서며 파라미터 수가 적다.
• WRN50 백본을 사용할 때 COCO 객체 검출 및 인스턴스 세그멘테이션에서 LESA는 소형, 중형, 대형 객체 전반에 걸쳐 컨볼루션, 자기주의, 변형 가능 컨볼루션 기준 모델보다 높은 mAP를 기록한다.
• 제거 실험 결과 동적 융합 모듈이 필수적임을 확인하였으며, LESA(79.55% 정확도)는 정적 LESA(79.12% 정확도)보다 유의미한 성능 향상을 보였다.
• LESA는 국소 특징을 강화함으로써 큰 유사도 행렬에 대한 의존도를 줄였으며, 이는 자기주의 모델에서 흔한 메모리 비효율성 문제를 완화하는 데 기여할 수 있다.
• 인스턴스 세그멘테이션에서 마스크 품질 향상과 객체 세부 정보 탐지 향상으로 인해, 국소-맥락 학습의 통합으로 인한 더 나은 의미 일관성이 나타났다.