[논문 리뷰] Tree-structured Attention with Hierarchical Accumulation

Xuan-Phi Nguyen, Shafiq Joty외 2명|arXiv (Cornell University)|2020. 02. 19.

Topic Modeling참고 문헌 15인용 수 26

한 줄 요약

이 논문은 구성 문법 트리(constituency parse trees)를 트랜스포머의 자기주의 메커니즘에 통합하는 데 constant parallel time complexity를 사용하는 트리-구조적 주의(Tree-Structured Attention)를 제안한다. 계층적 임베딩, 누적 평균, 가중 평균을 통해 자식 노드 표현을 집계함으로써, 모델은 기계 번역 및 텍스트 분류 작업에서 최신 기술 성능을 달성하며, 특히 자원이 부족한 환경에서 우수한 성능을 보이며 어휘 수준의 주의보다 어간 수준의 주의를 선호한다.

ABSTRACT

Incorporating hierarchical structures like constituency trees has been shown to be effective for various natural language processing (NLP) tasks. However, it is evident that state-of-the-art (SOTA) sequence-based models like the Transformer struggle to encode such structures inherently. On the other hand, dedicated models like the Tree-LSTM, while explicitly modeling hierarchical structures, do not perform as efficiently as the Transformer. In this paper, we attempt to bridge this gap with "Hierarchical Accumulation" to encode parse tree structures into self-attention at constant time complexity. Our approach outperforms SOTA methods in four IWSLT translation tasks and the WMT'14 English-German translation task. It also yields improvements over Transformer and Tree-LSTM on three text classification tasks. We further demonstrate that using hierarchical priors can compensate for data shortage, and that our model prefers phrase-level attentions over token-level attentions.

연구 동기 및 목표

• 표준 트랜스포머가 구성 트리와 같은 계층적 문법적 구조를 인코딩하는 데 한계를 가진다는 문제를 해결하기 위해.
• 트리-LSTM의 순차적 계산 병목 현상은 극복하면서도 구조적 인덕티브 바이어스를 유지하기 위해.
• 상수 시간 복잡도를 사용하여 트랜스포머 아키텍처 내에서 확장 가능하고 병렬 처리 가능한 트리 인코딩을 가능하게 하기 위해.
• 자원이 부족한 자연어 처리 환경에서 계층적 사전 지식이 효과적인지 평가하기 위해.
• 주의 패턴을 분석하여 모델이 어간 수준의 주의인지 토큰 수준의 주의를 선호하는지 확인하기 위해.

제안 방법

• 모델은 구성 트리의 노드 간 형제 관계와 계층적 관계를 계층적 임베딩을 통해 인코딩한다.
• 모든 자식 노드의 은닉 상태를 상향식 누적 평균 집계를 통해 비단말 노드의 값 표현을 형성한다.
• 브랜치 수준의 표현을 가중 평균 메커니즘을 통해 최종적으로 각 비단말 노드의 값으로 통합한다.
• 부트리 마스킹은 주의 점수를 쿼리의 후손인 경우에만 활성화시켜 구조적 일관성을 강제한다.
• 이 방법은 트랜스포머 아키텍처에 통합되어 주의 계산이 상수 시간 병렬 복잡도를 유지한다.
• 모델은 트리의 모든 노드를 동시에 처리하므로 확장성과 효율적인 학습/추론이 가능하다.

실험 결과

연구 질문

• RQ1 계층적 트리 구조가 상수 시간 복잡도로 자기주의에 통합될 수 있는가?
• RQ2 구성 문법 트리를 통합하면 기계 번역 및 텍스트 분류 작업에서 성능 향상이 이루어지는가?
• RQ3 데이터가 부족한 조건에서 모델의 성능은 어떠한가? 계층적 사전 지식은 제한된 레이블 데이터를 보완할 수 있는가?
• RQ4 모델은 어간 수준의 주의를 토큰 수준의 주의보다 선호하는가?
• RQ5 트리-트랜스포머의 학습 및 추론 효율성은 트리-LSTM와 같은 순환 트리 모델보다 어떻게 비교되는가?

주요 결과

• 트리-트랜스포머는 네 개의 IWSLT 및 하나의 WMT’14 영어-독일어 번역 작업에서 트랜스포머와 트리-LSTM를 모두 압도하며, 소규모 데이터셋에서 최대 3.3 BLEU의 향상을 기록했다.
• 텍스트 분류 작업에서는 SST-5에서 47.4%의 정확도를 달성하여 트랜스포머와 트리-LSTM를 능가했으며, 특히 자원이 부족한 환경에서 두각을 나타냈다.
• 모델은 어간 수준의 주의를 일관되게 선호하며, 잎 노드 대비 내부 노드 비율과 관계없이 59–66%의 주의 헤드가 잎 노드가 아닌 비단말 노드를 주시한다.
• WMT’14 영어-독일어 작업에서 학습 데이터가 100만 쌍 미만일 경우 3.3 BLEU 향상이 이루어져 높은 데이터 효율성을 입증했다.
• 학습 및 추론 시간은 문장 길이에 비례하지 않고 거의 일정하게 유지되며, 트리-LSTM는 선형적으로 증가하는 것과 대비해 모델의 병렬 처리 가능성과 확장성을 확인했다.
• 제거 실험(ablation studies) 결과, 계층적 임베딩 또는 부트리 마스킹을 제거하면 BLEU 점수가 0.49~0.52 포인트 감소하여 두 구성 요소가 필수적임을 입증했다.