[논문 리뷰] Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention

Xu Yi‐chong, Chenguang Zhu외 8명|arXiv (Cornell University)|2021. 12. 06.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

이 논문은 지식 그래프, 사전, 훈련 데이터로부터의 외부 지식을 간단한 텍스트 연결을 통해 트랜스포머 모델에 통합하는 경량 프레임워크인 지식 기반 외부 어텐션 추론(Knowledgeable External Attention for Reasoning, KEAR)을 제안한다. 아키텍처 변경 없이 검색된 외부 지식을 통합함으로써 KEAR는 CommonsenseQA에서 인간 수준의 성능(테스트 정확도 89.4% 대 인간 88.9%)을 달성하며, GPT-3와 같은 대규모 모델조차도 뛰어넘는 성능을 보였다.

ABSTRACT

Most of today's AI systems focus on using self-attention mechanisms and transformer architectures on large amounts of diverse data to achieve impressive performance gains. In this paper, we propose to augment the transformer architecture with an external attention mechanism to bring external knowledge and context to bear. By integrating external information into the prediction process, we hope to reduce the need for ever-larger models and increase the democratization of AI systems. We find that the proposed external attention mechanism can significantly improve the performance of existing AI systems, allowing practitioners to easily customize foundation AI models to many diverse downstream applications. In particular, we focus on the task of Commonsense Reasoning, demonstrating that the proposed external attention mechanism can augment existing transformer models and significantly improve the model's reasoning capabilities. The proposed system, Knowledgeable External Attention for commonsense Reasoning (KEAR), reaches human parity on the open CommonsenseQA research benchmark with an accuracy of 89.4\\% in comparison to the human accuracy of 88.9\\%.

연구 동기 및 목표

• 모델 크기를 대규모로 확장하는 데서 비롯하는 제약를 해결하기 위해 외부 지식을 통합함으로써 추론 성능 향상을 도모하고자 한다.
• 초거대한 모델 크기에 의존하지 않으면서도 공리적 추론 작업에서 성능을 향상시키고자 한다.
• 비매개변수적이고 업데이트 가능한 지식 소스를 사용함으로써 모델의 해석 가능성과 접근성 향상을 도모하고자 한다.
• 외부 지식 통합이 벤치마크 작업에서 인간 성능을 초월할 수 있음을 입증하고자 한다.
• 다양한 최종 응용 분야에 쉽게 적용 가능한 경량이며 모oduular한 프레임워크를 제공하고자 한다.

제안 방법

• 세 가지 외부 소스에서 관련 지식을 검색한다: ConceptNet(지식 그래프), Wiktionary(사전), 훈련 데이터(CommonsenseQA 및 관련 16개 데이터셋).
• 검색된 지식은 입력 시퀀스에 직접 연결되어 원래의 트랜스포머 아키텍처에 구조적 변경 없이 유지된다.
• 입력과 외부 지식을 결합한 상태에서 표준 자기어텐션을 사용하여 내부 및 외부 콘텐츠 모두에 대한 동적 어텐션을 가능하게 한다.
• 지식 검색은 키워드 매칭 및 정보 검색과 같은 효율적인 비매개변수적 방법을 통해 수행되어 계산 오버헤드를 최소화한다.
• 다양한 모델 39종(DeBERTa, ELECTRA, GPT-3 변형 포함)의 앙상블을 사용하여 성능을 향상시키며, 최종 예측은 다수결 투표 방식을 사용한다.
• 실무자들이 주요 모델을 재학습하지 않고도 지식 소스(예: 지식 그래프 편집, 위키백과 항목 수정)를 업데이트할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 모델 크기를 늘리지 않고도 외부 지식 검색 및 통합을 통해 공리적 추론 성능 향상을 이룰 수 있는가?
• RQ2 경량 비매개변수적 지식 주입 방법이 CommonsenseQA에서 인간 성능을 초월할 수 있는가?
• RQ3 지식 그래프, 사전, 훈련 데이터와 같은 다수의 외부 지식 소스를 조합할 경우 추론 정확도에 어떤 영향을 미치는가?
• RQ4 외부 지식을 보강한 작은 모델이 얼마나 높은 수준의 성능을 달성할 수 있는가?
• RQ5 외부 어텐션은 모델의 해석 가능성 향상과 초거대 사전 학습 모델에 대한 의존도 감소에 기여하는가?

주요 결과

• KEAR 모델은 CommonsenseQA 테스트 세트에서 89.4%의 정확도를 달성하여 인간 기준(88.9%)을 초월했다.
• 앙상블 모델은 개발 세트에서 93.4%의 정확도를 기록하여 이전 최고 성능 모델인 DEKCOR을 6% 이상 뛰어넘었다.
• DeBERTa-xxlarge 모델은 외부 지식을 추가함으로써 개발 세트에서 정확도를 83.8%에서 90.8%로 향상시켰다.
• 심지어 초거대 모델인 GPT-3도 동일한 작업에서 73.0%의 정확도에 머물러 있어, 외부 어텐션 접근 방식의 효과성을 입증했다.
• 이 방법을 통해 최대 15억 파라미터의 모델을 사용하여 인간 수준의 성능을 달성할 수 있었으며, 초거대 모델에 대한 의존도를 줄일 수 있었다.
• 사례 연구 결과, 지식 그래프, 사전, 훈련 데이터의 세 가지 지식 소스가 복잡한 예제에서 정확한 추론을 위해 모두 필수적임을 확인했다.