[논문 리뷰] Knowledge-Infused Self Attention Transformers

Kaushik Roy, Yuxin Zi외 3명|arXiv (Cornell University)|2023. 06. 23.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 지식 그래프에서 외부 지식을 트랜스포머 모델의 다양한 구성 요소—특히 입력 임베딩(잠재 표현)과 자기주의 어텐션 행렬(인도크티브 바이어스)—에 통합하기 위한 체계적이고 모듈러한 프레임워크를 제안한다. 이 방법은 지식 통합을 얕은, 반중간의, 깊은 유형으로 분류하며, 모든 레이어에 걸쳐 표현과 인도크티브 바이어스에 지식을 적용하는 깊은 통합이 기존 평가 지표와 새로운 평가 지표를 모두 사용하여 GLUE 벤치마크에서 뛰어난 성능을 보임으로써 최고의 성능을 나타낸다.

ABSTRACT

Transformer-based language models have achieved impressive success in various natural language processing tasks due to their ability to capture complex dependencies and contextual information using self-attention mechanisms. However, they are not without limitations. These limitations include hallucinations, where they produce incorrect outputs with high confidence, and alignment issues, where they generate unhelpful and unsafe outputs for human users. These limitations stem from the absence of implicit and missing context in the data alone. To address this, researchers have explored augmenting these models with external knowledge from knowledge graphs to provide the necessary additional context. However, the ad-hoc nature of existing methods makes it difficult to properly analyze the effects of knowledge infusion on the many moving parts or components of a transformer. This paper introduces a systematic method for infusing knowledge into different components of a transformer-based model. A modular framework is proposed to identify specific components within the transformer architecture, such as the self-attention mechanism, encoder layers, or the input embedding layer, where knowledge infusion can be applied. Additionally, extensive experiments are conducted on the General Language Understanding Evaluation (GLUE) benchmark tasks, and the findings are reported. This systematic approach aims to facilitate more principled approaches to incorporating knowledge into language model architectures.

연구 동기 및 목표

• 학습 데이터에서 누락되거나 암시된 맥락이 부족한 경우 발생하는 환각 현상과 일치 문제를 보완하기 위해 외부 지식을 통합하여 해결한다.
• 기존의 지식 통합 방법들이 트랜스포머 아키텍처의 구성 요소 수준에서의 영향을 체계적으로 분석하지 못하는 수단에 의존하는 성향을 해결한다.
• 트랜스포머 블록 내의 인도크티브 바이어스(예: 어텐션 행렬)와 잠재 표현(예: 임bedding)을 구분하는 모듈러하고 체계적인 지식 통합 접근법을 개발한다.
• 표준 지표(정확도, F1)와 새로운 지표(DE@K, 링크 예측)를 모두 사용하여 데이터 효율성과 사실 일관성 수준을 평가함으로써 지식 통합을 평가한다.
• 향후 하이브리드 및 선택적 통합 전략을 위한 기반을 마련하며, 구성 요소 인식이 가능한 체계적인 지식 증강 언어 모델링을 구축한다.

제안 방법

• 트랜스포머 구성 요소를 두 유형으로 분류한다: 인도크티브 바이어스(예: 자기주의 어텐션 행렬)와 잠재 표현(예: 입력 및 중간 레이어의 임베딩).
• 세 가지 지식 통합 전략을 제안한다: (i) 얕은 통합(첫 번째 블록의 잠재 표현에 지식 통합), (ii) 반중간 통합(첫 번째 블록의 어텐션 행렬에 지식 통합), (iii) 깊은 통합(모든 블록의 표현과 어텐션 행렬에 지식을 번갈아 통합).
• 지식 그래프(ConceptNet 및 WordNet)를 사용해 노드 임베딩을 확보하고, 각 입력 토큰당 이를 합산하여 토큰 별 통합된 그래프 표현을 구성한다.
• 학습 가능한 투영 레이어를 통해 그래프 임베딩을 트랜스포머에 통합하며, 입력 임베딩과 어텐션 행렬에 직접 삽입한다.
• 평가를 위해 다섯 가지 사전 학습된 모델(BERT, RoBERTa, ELECTRA, XLNet, Longformer)의 라지 버전을 사용한다.
• 새로운 평가 지표를 도입한다: DE@K(데이터 효율성)와 링크 예측 정확도(사실 일관성), 각각 감소된 훈련 데이터에서의 성능과 임베딩의 사실 일관성 수준을 측정한다.

Figure 1. The figure shows the different components of a transformer block, categorized into inductive biases and latent representations. We categorize the input embeddings and the representations obtained after each encoder as latent representations and the self-attention matrices as inductive bias

실험 결과

연구 질문

• RQ1 트랜스포머의 다양한 구성 요소(잠재 표현 대비 인도크티브 바이어스)에 체계적인 지식 통합이 NLP 작업의 최종 성능에 어떤 영향을 미치는가?
• RQ2 감소된 훈련 데이터(예: 50%)로 성능을 측정했을 때, 지식 통합이 데이터 효율성을 얼마나 향상시키는가?
• RQ3 링크 예측 정확도 및 DE@K와 같은 새로운 평가 지표는 표준 정확도 및 F1 점수보다 지식 통합의 효과를 더 신뢰성 있게 평가할 수 있는가?
• RQ4 얕은, 반중간, 깊은 통합 전략 중 어느 것이 다양한 트랜스포머 아키텍처와 GLUE 벤치마크 작업 전반에서 가장 일관되고 강력한 향상을 이끌어내는가?
• RQ5 지식 통합이 사실 일관성과 맥락 이해도를 향상시켜 모델이 통계적 잔여 패턴이나 유사 패턴에 의존하는 것을 줄이는가?

주요 결과

• 모든 트랜스포머 블록에 잠재 표현과 인도크티브 바이어스에 지식을 적용하는 깊은 통합 전략이 모든 GLUE 작업에서 최고의 성능을 기록한다.
• 훈련 데이터의 50%만으로도 깊은 통합 모델이 GLUE 작업 평균 정확도 81~83을 달성하여 뛰어난 데이터 효율성을 보였다.
• DE@50 지표는 깊은 통합이 제한된 데이터 조건에서도 높은 성능을 유지함을 보여주며, 지식 통합을 통한 데이터 충분성 향상을 입증한다.
• 합산된 ConceptNet 및 WordNet 임베딩(코사인 유사도 기반)을 사용한 링크 예측 정확도는 지식 통합과 함께 일관된 향상을 보였으며, 사실 일관성 향상의 타당성을 검증한다.
• XLNet은 모든 설정에서 다른 모델보다 일관되게 뛰어난 성능을 보였지만, 깊은 통합 전략이 특히 도전적인 작업에서 가장 뚜렷한 상대적 향상을 이끌어냈다.
• 새로운 평가 지표(DE@K 및 링크 예측)는 표준 지표만으로는 충분히 드러나지 않았던 지식 통합의 효과적 향상 수준을 명확히 드러냈다.

Figure 2. (a) Knowledge compression - Compressing the information in the knowledge graph into graph node embeddings (vectors) and graph node embedding-based correlations (matrices) for infusion in transformer architectures, namely at the latent representations of the transformer (vectors), or the in