[논문 리뷰] Sparse and Continuous Attention Mechanisms

André F. T. Martins, António Farinhas외 4명|arXiv (Cornell University)|2020. 06. 12.

Topic Modeling참고 문헌 51인용 수 10

한 줄 요약

이 논문은 변형된 지수 가족과 Tsalis 통계를 사용하여 sparsemax와 entmax를 연속 공간으로 확장함으로써 연속 도메인 어텐션 메커니즘을 도입한다. 이는 1차원 및 2차원 영역에서 희박하고 해석 가능한 어텐션을 가능하게 한다. α ∈ {1,2}에 대해 효율적인 역전파 알고리즘을 유도하여, 텍스트 분류, 기계 번역, 시각 질문 응답 등에서 이산 토큰이나 픽셀이 아닌 연속된 간격과 영역에 집중함으로써 국소화 성능을 향상시킨다.

ABSTRACT

Exponential families are widely used in machine learning; they include many distributions in continuous and discrete domains (e.g., Gaussian, Dirichlet, Poisson, and categorical distributions via the softmax transformation). Distributions in each of these families have fixed support. In contrast, for finite domains, there has been recent work on sparse alternatives to softmax (e.g. sparsemax and alpha-entmax), which have varying support, being able to assign zero probability to irrelevant categories. This paper expands that work in two directions: first, we extend alpha-entmax to continuous domains, revealing a link with Tsallis statistics and deformed exponential families. Second, we introduce continuous-domain attention mechanisms, deriving efficient gradient backpropagation algorithms for alpha in {1,2}. Experiments on attention-based text classification, machine translation, and visual question answering illustrate the use of continuous attention in 1D and 2D, showing that it allows attending to time intervals and compact regions.

연구 동기 및 목표

• 이산 도메인에서의 희박한 어텐션 메커니즘(예: sparsemax, entmax)을 이산에서 연속 도메인으로 확장하는 것.
• 연속 희박한 어텐션과 Tsalis 통계, 변형된 지수 가족 사이의 이론적 연결 고리를 설정하는 것.
• α ∈ {1,2}인 연속 어텐션에 대해 효율적인 역전파 알고리즘을 개발하는 것.
• 실제 NLP 및 비전 작업(예: 텍스트 분류, 기계 번역, 시각 질문 응답)에서 연속 어텐션의 유용성을 입증하는 것.
• 개별 이산 단위가 아닌 연속된 밀집 영역(예: 시간 간격, 이미지 패치)에 집중하는 어텐션 메커니즘을 가능하게 하는 것.

제안 방법

• 변형된 지수 가족을 사용하여 측도 공간으로 entmax 변환의 일반화를 통해 연속 도메인에 대한 α-entmax를 제안한다.
• 점수 함수를 연속 도메인에서의 α-entmax 변환으로서 연속 어텐션 메커니즘을 유도하며, 다양한 지원을 가진 희박한 확률 밀도를 생성한다.
• 변환의 자코비안을 일반화된 공분산 행렬로 도입하여 은닉 미분을 통한 효율적인 기울기 계산을 가능하게 한다.
• 온도 매개변수 τ를 사용하여 농도를 조절하며, 저온 근사에서는 전역 최대값에 대한 Dirac 델타로 수렴한다.
• 연속 시간 또는 공간 좌표에 대한 점수 함수를 정의함으로써 1D(텍스트) 및 2D(이미지)에 연속 어텐션 메커니즘을 적용한다.
• 유도된 자코비안 구조를 사용하여 연속 어텐션 레이어를 통한 역전파를 수행함으로써 신경망 내에서 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 희박한 어텐션 메커니즘은 이산에서 연속 도메인으로 일반화될 수 있는가?
• RQ2 연속 희박한 어텐션과 Tsalis 통계 또는 변형된 지수 가족 사이의 이론적 연결 고리는 무엇인가?
• RQ3 α ∈ {1,2}인 연속 어텐션 메커니즘에 대해 효율적인 역전파를 어떻게 달성할 수 있는가?
• RQ4 연속 어텐션은 국소화가 필요한 작업에서 해석 가능성과 성능 향상에 기여하는가?
• RQ5 집중 국소화 및 작업 성능 측면에서 연속 어텐션은 이산 어텐션보다 어떻게 비교되는가?

주요 결과

• 연속 α-entmax 메커니즘은 다양한 지원을 가진 희박한 어텐션 분포를 생성하여 데이터 내에서 밀집된 1차원 간격 또는 2차원 영역을 선택할 수 있게 한다.
• α = 1 및 α = 2일 경우, 일반화된 공분산 행렬로 표현된 폐쇄형 자코비안을 통해 효율적인 역전파를 달성한다.
• 텍스트 분류에서 연속 어텐션은 의미 있는 문장 구간에 집중하여 정확도를 유지하면서도 해석 가능성을 향상시켰다.
• 기계 번역에서 연속 어텐션 메커니즘은 이산 softmax와 경쟁적인 성능을 보였으며, 어텐션 맵에서 더 나은 국소화 성능를 보였다.
• 시각 질문 응답에서 연속 어텐션은 관련된 이미지 영역(예: 연속된 영역 내 객체 수 세기)에 정확히 집중했으며, 공간적 일관성이 요구되는 경우 이산 어텐션을 능가하는 성능를 보였다.
• 시각적 예시(그림 4–7)는 연속 어텐션이 관련이 없는 여러 영역에 걸쳐 집중을 분할하지 않아 복잡한 수세기 및 국소화 작업에서 더 정확한 답변을 도출함을 보여준다.