[논문 리뷰] Information Aggregation for Multi-Head Attention with Routing-by-Agreement

Jian Li, Baosong Yang외 4명|arXiv (Cornell University)|2019. 04. 05.

Topic Modeling참고 문헌 29인용 수 12

한 줄 요약

이 논문은 다중 헤드 어텐션에서 정보 집약을 향상시키기 위해 표준 선형 연결 대신 반복적 어텐션 라우팅을 사용하는 '합의 기반 라우팅' 메커니즘을 제안한다. 이 메커니즘은 부분(어텐션 헤드)을 전체(최종 표현)에 할당하는 방식으로, 합의에 기반해 작동한다. 실험 결과 언어 탐색 및 기계 번역에서 일관된 성능 향상을 보였으며, 파라미터 수를 25% 감소시켜도 더 큰 모델과 유사한 성능을 달성했다.

ABSTRACT

Multi-head attention is appealing for its ability to jointly extract different types of information from multiple representation subspaces. Concerning the information aggregation, a common practice is to use a concatenation followed by a linear transformation, which may not fully exploit the expressiveness of multi-head attention. In this work, we propose to improve the information aggregation for multi-head attention with a more powerful routing-by-agreement algorithm. Specifically, the routing algorithm iteratively updates the proportion of how much a part (i.e. the distinct information learned from a specific subspace) should be assigned to a whole (i.e. the final output representation), based on the agreement between parts and wholes. Experimental results on linguistic probing tasks and machine translation tasks prove the superiority of the advanced information aggregation over the standard linear transformation.

연구 동기 및 목표

• 표준 선형 변환 방식이 다중 헤드 어텐션 집약에 rich한 표현 정보를 포괄하는 데에 충분한가를 조사하는 것.
• 선형 변환을 초월한 고급 집약 메커니즘—특히 합의 기반 라우팅—을 다중 헤드 어텐션에서 탐색하는 것.
• 합의 기반 집약의 효과를 언어 탐색 및 기계 번역 작업에서 평가하는 것.
• 특히 학습 및 추론 속도 측면에서 성능와 계산 비용의 균형을 이룰 수 있는 효율적인 구성(설정)을 규명하는 것.

제안 방법

• 이 방법은 다중 헤드 어텐션 출력을 '부분'으로, 최종 표현을 '전체'로 간주하여, 집약을 '부분에서 전체로의 할당' 문제로 재정의한다.
• 합의에 기반해 부분(어텐션 헤드)과 전체(최종 출력 표현) 간의 일치도를 반복적으로 업데이트하는 EM 라우팅 알고리즘을 사용한다.
• 라우팅 과정은 동적 라우팅을 사용하며, 어텐션 기반 합의 점수를 통해 각 헤드 출력이 최종 표현에 기여하는 비율을 결정한다.
• 이 방법은 효율성과 성능의 균형을 위해 트랜스포저 모델의 저수준 두 층에만 선택적으로 적용된다.
• 라우팅 메커니즘은 다중 헤드 어텐션에서 표준 선형 변환을 대체하여, 모델 아키텍처를 유지하면서도 표현의 표현력 향상을 달성한다.
• 이 방법은 언어 탐색 작업과 기계 번역 벤치마크(WMT14 En→De 및 WMT17 Zh→En)에서 평가된다.

실험 결과

연구 질문

• RQ1 다중 헤드 어텐션 출력 집약에 대해 표준 선형 변환 방식이 각기 다른 어텐션 헤드의 전체 표현력 표현을 충분히 포괄하는가?
• RQ2 합의 기반 라우팅 메커니즘이 NLP 작업에서 다중 헤드 어텐션의 학습된 표현 품질을 향상시킬 수 있는가?
• RQ3 합의 기반 집약은 다양한 모델 구성에서 번역 성능와 학습 효율성에 어떤 영향을 미치는가?
• RQ4 성능와 계산 비용의 균형을 고려할 때, 합의 기반 집약의 최적의 배치(층 깊이)는 어디인가?

주요 결과

• 합의 기반 라우팅 메커니즘은 10개의 언어 탐색 작업에서 성능 향상을 크게 보였으며, 이는 집약된 표현이 더 많은 문법적 및 의미적 정보를 포괄하고 있음을 시사한다.
• WMT14 En→De 및 WMT17 Zh→En 번역 작업에서, 제안된 방법은 트랜스포저-베이스 및 트랜스포저-빅 모델 모두에서 표준 트랜스포저 베이스라인을 일관되게 능가한다.
• 저수준 두 층에만 라우팅을 적용할 경우 성능 유지와 함께 학습 시간을 37.5% 감소시켜 유리한 성능-비용 균형을 달성한다.
• 효율적인 집약을 적용한 트랜스포저-베이스 모델은 파라미터 수가 약 2/3 감소했음에도 불구하고 트랜스포저-빅 모델과 유사한 성능을 달성한다.
• 모든 층이나 여러 구성 요소(예: 인코더 및 디코더)에 라우팅을 적용할 경우 성능 향상에 비례하지 않는 심각한 속도 저하가 발생하여 수익 감소 현상이 나타난다.
• 실증적 검증을 통해 라우팅 메커니즘이 선형 집약의 강력한 대안임을 입증하였으며, 다양한 NLP 작업에서의 적용 가능성이 확인되었다.