[논문 리뷰] Fast Directional Self-Attention Mechanism.

Tao Shen, Tianyi Zhou외 3명|arXiv (Cornell University)|2018. 05. 02.

Data Visualization and Analytics인용 수 3

한 줄 요약

이 논문은 토큰 간 상호작용과 소스 간 상호작용을 동시에 모델링하기 위해 도트 곱과 다차원 주의 메커니즘을 조합한 하이브리드 호환성 함수를 사용하는 계산 및 메모리 면에서 효율적인 자기주의 메커니즘인 Fast-DiSA를 소개한다. 다중 헤드 및 다차원 주의 메커니즘을 경량 위치 마스크를 통해 이원성 시간 모델링과 통합함으로써 Fast-DiSA는 추론 비용을 크게 줄였음에도 불구하고 CNN과 유사한 성능을 달성하며 최신 기술 수준(SOTA) 성능을 확보한다.

ABSTRACT

In this paper, we propose a self-attention mechanism, dubbed self-attention (Fast-DiSA), which is a fast and light extension of directional self-attention (DiSA). The proposed Fast-DiSA performs as expressively as the original DiSA but only uses much less computation time and memory, in which 1) both token2token and source2token dependencies are modeled by a joint compatibility function designed for a hybrid of both dot-product and multi-dim ways; 2) both multi-head and multi-dim attention combined with bi-directional temporal information captured by multiple positional masks are in consideration without heavy time and memory consumption appearing in the DiSA. The experiment results show that the proposed Fast-DiSA can achieve state-of-the-art performance as fast and memory-friendly as CNNs. The code for Fast-DiSA is released at \url{this https URL}.

연구 동기 및 목표

• 시퀀스 모델링에서 방향성 자기주의(DiSA)의 높은 계산 및 메모리 비용 문제를 해결하기 위해.
• DiSA의 표현력을 유지하면서 추론 시간과 메모리 사용량을 극적으로 줄이기 위해.
• 추가 계산 오버헤드 없이 다중 헤드 및 다차원 주의 메커니즘을 이원성 시간 모델링과 융합하기 위해.
• CNN의 효율성과 동등한 성능을 내는 자기주의 메커니즘을 개발하기 위해.

제안 방법

• 토큰 간 상호작용과 소스 간 상호작용을 동시에 모델링하기 위해 도트 곱과 다차원 주의 메커니즘을 조합한 공동 호환성 함수를 제안한다.
• 다중 헤드와 다차원 주의 메커니즘을 하나의 효율적인 계산 그래프에 융합하는 하이브리드 주의 메커니즘을 도입한다.
• 메모리나 계산 비용을 증가시키지 않으면서도 이원성 시간 정보를 캡처하기 위해 다수의 경량 위치 마스크를 활용한다.
• 공유되고 구조화된 파rameterization을 통해 주의 계산을 최적화함으로써 표준 DiSA에서 흔히 발생하는 높은 계산 및 메모리 소비를 피하기 위해 아키텍처를 설계한다.
• 다양한 주의 유형을 통합하기 위해 압축된 공유 표현 공간을 활용함으로써 모델 파라미터와 추론 시간을 줄인다.
• 표준 최적화 기법을 사용한 엔드 투 엔드 학습을 가능하게 하면서도 높은 표현력과 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 DiSA의 표현력을 유지하면서도 계산 및 메모리 비용을 줄일 수 있는가?
• RQ2 하이브리드 호환성 함수가 단일 메커니즘 내에서 토큰 간 상호작용과 소스 간 상호작용을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 다중 헤드 및 다차원 주의 메커니즘을 이원성 시간 모델링과 효율적으로 통합할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 메커니즘이 속도와 메모리 효율성 측면에서 CNN과 유사한 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• Fast-DiSA는 표준 DiSA보다 훨씬 빠르고 메모리 효율적인 동시에 시퀀스 모델링 작업에서 최신 기술 수준 성능을 달성한다.
• DiSA 대비 계산 시간과 메모리 사용량을 줄여, 정확도를 희생시키지 않고도 CNN 수준의 추론 속도를 확보한다.
• 하이브리드 호환성 함수는 추가 비용이 최소한이면서도 토큰 간 상호작용과 소스 간 상호작용을 효과적으로 모델링할 수 있도록 한다.
• 다중 헤드 및 다차원 주의 메커니즘과 이원성 위치 마스크의 통합은 계산 오버헤드 없이 모델링 능력을 향상시킨다.
• 제안된 메커니즘은 벤치마크 전반에서 높은 성능을 유지하며, 강력한 일반화 능력과 효율성의 상호 보완적 특성을 보여준다.
• 공개된 코드는 Fast-DiSA의 재현성과 다양한 시퀀스 모델링 응용 분야에서의 활용 가능성을 보장한다.