[논문 리뷰] Is Attention Better Than Matrix Decomposition?

Zhengyang Geng, Meng-Hao Guo외 4명|arXiv (Cornell University)|2021. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 73인용 수 52

한 줄 요약

논문은 행렬 분해 기반의 글로벌 컨텍스트 모듈(Hamburger)이 비전 태스크에서 자기 주의(self-attention)와 동등하거나 그 이상을 달성할 수 있으며 계산 및 메모리 비용이 더 낮고, MD 루프를 통한 학습을 위한 한 단계 그래디언트를 제안한다.

ABSTRACT

As an essential ingredient of modern deep learning, attention mechanism, especially self-attention, plays a vital role in the global correlation discovery. However, is hand-crafted attention irreplaceable when modeling the global context? Our intriguing finding is that self-attention is not better than the matrix decomposition (MD) model developed 20 years ago regarding the performance and computational cost for encoding the long-distance dependencies. We model the global context issue as a low-rank recovery problem and show that its optimization algorithms can help design global information blocks. This paper then proposes a series of Hamburgers, in which we employ the optimization algorithms for solving MDs to factorize the input representations into sub-matrices and reconstruct a low-rank embedding. Hamburgers with different MDs can perform favorably against the popular global context module self-attention when carefully coping with gradients back-propagated through MDs. Comprehensive experiments are conducted in the vision tasks where it is crucial to learn the global context, including semantic segmentation and image generation, demonstrating significant improvements over self-attention and its variants.

연구 동기 및 목표

• 비전 및 NLP 태스크에서 글로벌 컨텍스트를 모델링하는 데 있어 수작업(attention)이 필수적인지 재평가한다.
• 글로벌 컨텍스트를 저랭크 회복 문제로 공식화하고 행렬 분해를 통해 해결하여 화이트박스 모듈을 설계한다.
• MD 솔버로 구축된 경량 글로벌 컨텍스트 블록 Hamburger를 개발하고 효율적인 역전파를 제공한다.
• Semantic segmentation과 이미지 생성 태스크에서 Hamburger의 효과를 시연하고 self-attention 모듈과 벤치마킹한다.

제안 방법

• unfolded 입력 표현의 저랭크 회복으로 글로벌 컨텍스트를 모델링하고 행렬 분해로 깨끗한 저랭크 임베딩을 생성한다.
• Lower bread 옆 MD 기반 ham 블록으로 저랭크 부분공간을 회복하고 출력 생성을 위한 선형 변환(upper bread)을 적용한다.
• MD ham 블록을 Vector Quantization(VQ), Concept Decomposition(CD), Non-negative Matrix Factorization(NMF)의 미분 가능한 변형으로 구성한다.
• 한 단계 그래디언트—시간에 따른 전체 역전파 대신—를 사용하여 반복 MD 해석기를 통해 역전파하여 불안정한 그래디언트를 완화한다.
• Hamburger의 O(n) 복잡도를 유지하고 전통적 self-attention에 비해 큰 n×n 어텐션 행렬을 피한다.

실험 결과

연구 질문

• RQ1 수작업(attention)으로 글로벌 컨텍스트를 모델링하는 것이 필요한가, 아니면 행렬 분해 기반 글로벌 컨텍스트가 경쟁력 있는가?
• RQ2 Hamburger가 세그먼테이션 및 생성 태스크에서.self-attention 대비 경쟁력 있는 혹은 우수한 성능을 달성하면서 계산 및 메모리 비용을 줄일 수 있는가?
• RQ3 신경망에서 반복적인 행렬 분해 과정을 미분하는 효과적인 학습 전략(예: 한 단계 그래디언트)은 무엇인가?
• RQ4 다른 MD 선택(VQ, CD, NMF)이 글로벌 컨텍스트 모델링의 성능, 효율성, 해석가능성에 어떤 영향을 미치는가?

주요 결과

• Hamburger는 행렬 분해 기반으로 세그먼트 및 이미지 생성에서 self-attention 대비 경쟁력 있는 성능을 달성할 수 있다.
• PASCAL VOC 테스트 세트에서 HamNet(Hamburger 기반)이 85.9% mIoU를 달성하여 몇몇 주의(attention 기반) 모델을 상회한다.
• PASCAL Context 검증에서 HamNet은 55.2% mIoU를 달성하여 여러 주의 모듈을 능가한다.
• ImageNet 128×128의 이미지 생성에서 NMF/한 단계 그래디언트를 사용하는 HamGAN 변형들이 SAGAN 대비 강한 FID 향상을 보인다(예: HamGAN-strong FID 14.77, HamGAN-baby 16.05).
• 한 단계 그래디언트 방식은 학습을 안정시키고 MD 루프를 통해 역전파를 효과적으로 수행하며 전체 BPTT의 불안정성을 피한다.
• Hamburger는 전통적 self-attention 모듈보다 메모리와 계산 측면에서 낮은 비용(O(ndr) 및 대형 n×n 어텐션 행렬 부재)을 보인다.