[논문 리뷰] Capsule-Transformer for Neural Machine Translation

Sufeng Duan, Juncheng Cao외 1명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 29인용 수 4

한 줄 요약

이 논문은 트랜스포머의 멀티헤드 자기주의 메커니즘을 일반화하는 새로운 아키텍처인 캡슐-트랜스포머를 제안한다. 선형 변환 대신 캡슐 라우팅 알고리즘을 사용함으로써 계층적인 주의 집계를 통해 더 rich한 문맥 표현을 가능하게 한다. 신경 기계 번역 벤치마크에서의 실험 결과, 추가적인 파라미터가 크게 증가하지 않음에도 불구하고 강력한 트랜스포머 기준 모델보다 성능 향상이 뚜렷하다.

ABSTRACT

Transformer hugely benefits from its key design of the multi-head self-attention network (SAN), which extracts information from various perspectives through transforming the given input into different subspaces. However, its simple linear transformation aggregation strategy may still potentially fail to fully capture deeper contextualized information. In this paper, we thus propose the capsule-Transformer, which extends the linear transformation into a more general capsule routing algorithm by taking SAN as a special case of capsule network. So that the resulted capsule-Transformer is capable of obtaining a better attention distribution representation of the input sequence via information aggregation among different heads and words. Specifically, we see groups of attention weights in SAN as low layer capsules. By applying the iterative capsule routing algorithm they can be further aggregated into high layer capsules which contain deeper contextualized information. Experimental results on the widely-used machine translation datasets show our proposed capsule-Transformer outperforms strong Transformer baseline significantly.

연구 동기 및 목표

• 표준 멀티헤드 자기주의가 단순 선형 변환에 의존함으로써 더 깊은 문맥 기반 표현을 포착하는 데에 한계가 있다는 문제를 해결하기 위해.
• 캡슐 네트워크 원리를 자기주의 메커니즘에 통합하여 주의 헤드와 토큰 간에 동적이고 계층적인 정보 집계를 가능하게 하기 위해.
• 모델 복잡성이나 파라미터를 크게 증가시키지 않으면서 트랜스포머의 표현 능력을 향상시키기 위해.
• 캡슐 라우팅이 시퀀스 모델링 작업(예: 신경 기계 번역)에서 주의 분포 학습을 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• 다양한 헤드의 주의 가중치 그룹을 각각 저수준 캡슐로 간주하며, 각각 초보적 언어적 특징을 인코딩한다.
• 이러한 저수준 캡슐들을 반복적으로 캡슐 라우팅 알고리즘을 통해 고수준 캡슐로 집계함으로써 더 문맥 기반이고 조합적인 표현을 포착한다.
• 라우팅 메커니즘은 각 주의 헤드가 최종 표현에 기여하는 데 있어 중요도를 동적으로 결정하며, 표준 자기주의에서의 고정된 선형 투영을 대체한다.
• 제안된 캡슐-주의 메커니즘은 트랜스포머 인코더와 디코더에 통합되어 표준 멀티헤드 주의 모듈을 대체한다.
• 라우팅 과정은 주의 기반 라우팅 가중치를 사용한 동적 라우팅을 활용하여, 더 높은 수준의 표현에 가장 관련성이 높은 주의 패tern을 학습할 수 있도록 한다.
• 이 아키텍처는 원래 트랜스포머의 효율성을 유지하며, 최소한의 추가 파라미터로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 캡슐 라우팅을 통해 주의 헤드의 계층적 집계를 가능하게 하여 자기주의의 표현 품질을 향상시킬 수 있는가?
• RQ2 자기주의의 선형 변환을 캡슐 라우팅으로 대체할 경우, 시퀀스 모델링에서 더 나은 문맥 기반 표현을 얻을 수 있는가?
• RQ3 캡슐-트랜스포머는 표준 트랜스포머보다 신경 기계 번역 작업에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 성능 향상은 모델 용량 증가 때문이 아니라 주의 분포 학습 향상 때문인가?

주요 결과

• 캡슐-트랜스포머는 표준 신경 기계 번역 벤치마크에서 강력한 기준 트랜스포머를 능가하며, 일관되고 뚜렷한 성능 향상을 보였다.
• 모델는 최소한의 파라미터 증가로 더 높은 성능를 달성하였으며, 이는 성능 향상이 용량 확장이 아닌 아키텍처 개선에 기인함을 시사한다.
• 캡슐 라우팅 메커니즘은 헤드와 토큰 간의 정보 집계를 통해 더 일관되고 문맥에 민감한 주의 분포를 가능하게 하였다.
• 제거 실험(ablation study) 결과, 라우팅 메커니즘이 성능에 의미 있는 기여를 하며, 이를 제거하면 성능이 뚜렷이 악화됨을 확인하였다.
• 제안된 방법은 잘 일반화되어 있어, 트랜스포머 기반 모델을 사용하는 다른 NLP 작업에 널리 적용될 잠재력을 보였다.