[논문 리뷰] Multiresolution Transformer Networks: Recurrence is Not Essential for Modeling Hierarchical Structure

Vikas Garg, Inderjit S. Dhillon외 1명|arXiv (Cornell University)|2019. 08. 27.

Topic Modeling참고 문헌 41인용 수 4

한 줄 요약

이 논문은 순환 구조 없이 다중 해상도 수준(예: 쿼리 수준 및 세션 수준)을 활용하여 시퀀스의 계층적 구조를 모델링하는 자기주의 기반 아키텍처인 멀티레OLUTION 트랜스포머 네트워크(MTNs)를 소개한다. MTNs는 AOL 및 OnlineX와 같은 데이터셋에서 상태기반 순환 모델 및 계층적 모델보다 뛰어난 성능을 보이며, BLEU 점수는 25% 이상 향상되고 정밀도는 20% 이상 향상된다.

ABSTRACT

The architecture of Transformer is based entirely on self-attention, and has been shown to outperform models that employ recurrence on sequence transduction tasks such as machine translation. The superior performance of Transformer has been attributed to propagating signals over shorter distances, between positions in the input and the output, compared to the recurrent architectures. We establish connections between the dynamics in Transformer and recurrent networks to argue that several factors including gradient flow along an ensemble of multiple weakly dependent paths play a paramount role in the success of Transformer. We then leverage the dynamics to introduce {\em Multiresolution Transformer Networks} as the first architecture that exploits hierarchical structure in data via self-attention. Our models significantly outperform state-of-the-art recurrent and hierarchical recurrent models on two real-world datasets for query suggestion, namely, \aol and \amazon. In particular, on AOL data, our model registers at least 20\% improvement on each precision score, and over 25\% improvement on the BLEU score with respect to the best performing recurrent model. We thus provide strong evidence that recurrence is not essential for modeling hierarchical structure.

연구 동기 및 목표

• 순환 구조가 순차적 데이터의 계층적 구조를 모델링하는 데 필수적인가를 조사하는 것.
• 순환 구조 없이 다중 해상도 의존성을 포괄하는 자기주의 기반 아키텍처를 개발하는 것.
• 사용자 검색 행동의 계층적 특성을 활용하여 실세계 데이터셋에서 쿼리 제안 성능을 향상시키는 것.
• 주의 메커니즘이 장거리 및 계층적 의존성을 모델링하는 데 있어 순환 모델을 능가할 수 있음을 보여주는 것.
• 순차적 모델링에서 순환 구조를 구조적 주의로 대체할 수 있는 경험적 및 이론적 근거를 제공하는 것.

제안 방법

• 다양한 해상도 수준(예: 쿼리 수준 및 세션 수준)에서 별도의 자기주의 레이어를 사용하여 계층적 구조를 모델링하는 멀티레OLUTION 트랜스포머 네트워크(MTNs)를 제안한다.
• 두 수준의 인코더 구조를 도입: 쿼리 수준(Q) 및 세션 수준(S) 레이어로, 세션 수준 레이어는 동일한 세션의 쿼리 시퀀스를 참조한다.
• 쿼리 수준 및 세션 수준 표현을 모두 활용하여 자동회귀적으로 다음 쿼리를 생성하는 디코더를 설계한다.
• 표준 트랜스포머와 유사하게 다중 헤드 자기주의, 잔차 연결 및 레이어 정규화를 사용하지만, 이를 다중 해상도 수준에 적용한다.
• 다음 쿼리 예측을 위한 교차 엔트로피 손실과 시퀀스 수준 평가를 위한 BLEU 점수를 사용하여 모델을 종합적으로 최적화한다.
• 모델 크기가 유사하도록 유지하면서, 표준 트랜스포머 및 계층적 RNN과의 성능 비교를 위해 레이어 수를 다양하게 조정한다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 순환 구조 없이도 시퀀스의 계층적 구조를 효과적으로 모델링할 수 있는가?
• RQ2 다중 해상도 주의 기반 모델의 성능은 쿼리 제안 작업에서 최신 기술의 순환 모델 및 계층적 RNN 모델과 비교해 어떻게 되는가?
• RQ3 쿼리 수준 및 세션 수준 등 여러 해상도 수준이 단일 수준의 주의보다 사용자 검색 의도 모델링에 얼마나 기여하는가?
• RQ4 MTNs의 성능 향상 요인이 더 나은 기울기 전파, 앙상블 효과, 또는 명시적 계층적 모델링 때문인가?
• RQ5 유사 깊이 및 너비를 가진 표준 트랜스포머를 초월할 수 있는가? MTNs는 계층적 의존성을 어떻게 모델링하는가?

주요 결과

• AOL 데이터셋에서 MTNs는 최고 성능을 보인 순환 모델보다 BLEU 점수를 25% 이상 높였으며, BLEU 점수는 14.62로 표준 트랜스포머의 13.90보다 높았다.
• AOL 데이터셋에서 MTNs는 최고의 순환 모델 대비 1-그램 및 4-그램 정밀도를 최소 20% 향상시켰으며, 3-그램 및 4-그램 정밀도는 50% 높였다.
• OnlineX 및 AOL 데이터셋 전반에서 MTNs는 모든 정밀도 지표에서 모든 베이스라인 모델을 능가했으며, 3-그램 및 4-그램 정밀도에서 가장 큰 격차(40%)를 보였다.
• 레이어 총 수가 동일한 조건에서도, 쿼리 수준 3개 및 세션 수준 2개의 인코더 레이어를 가진 MTNs는 4개 또는 5개의 인코더 레이어를 가진 표준 트랜스포머보다 성능이 뛰어났다.
• 세션 수준 레이어를 제거하거나 추가 트랜스포머 인코더 레이어로 대체하면 성능이 심각하게 저하되었으며, 이는 다중 해상도 설계의 필요성을 시사한다.
• 정성적 분석 결과, MTN이 생성한 제안은 '미니 글라드 용기' 이후 '냉장 보관용 랩백'을 제안하는 등, 여러 검색 개선 과정에서 진화하는 사용자 의도를 더 잘 반영하는 것으로 나타났다.