[논문 리뷰] UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models

Tianbao Xie, Chen Wu외 21명|arXiv (Cornell University)|2022. 01. 16.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 T5 기반 모델을 사용하여 다양한 구조적 지식 기반(SKG) 작업(의미 분석, 질의 응답, 텍스트-SQL 변환 포함) 21종을 일관된 텍스트-투-텍스트 형식으로 표준화하는 UnifiedSKG라는 통합 프레임워크를 소개한다. 일관된 데이터, 모델, 평가 프로토콜을 통해 UnifiedSKG는 미세조정된 T5 모델을 사용해 모든 작업에서 최신 기술 성능(SOTA)을 달성하며, 특히 다중 작업 프리픽스 편조를 통해 상당한 성능 향상을 보이며, GPT-3 및 Codex와 같은 대규모 언어 모델(LM)이 제로샷 및 피셔샷 SKG 설정에서 가지는 한계를 드러낸다.

ABSTRACT

Structured knowledge grounding (SKG) leverages structured knowledge to complete user requests, such as semantic parsing over databases and question answering over knowledge bases. Since the inputs and outputs of SKG tasks are heterogeneous, they have been studied separately by different communities, which limits systematic and compatible research on SKG. In this paper, we overcome this limitation by proposing the UnifiedSKG framework, which unifies 21 SKG tasks into a text-to-text format, aiming to promote systematic SKG research, instead of being exclusive to a single task, domain, or dataset. We use UnifiedSKG to benchmark T5 with different sizes and show that T5, with simple modifications when necessary, achieves state-of-the-art performance on almost all of the 21 tasks. We further demonstrate that multi-task prefix-tuning improves the performance on most tasks, largely improving the overall performance. UnifiedSKG also facilitates the investigation of zero-shot and few-shot learning, and we show that T0, GPT-3, and Codex struggle in zero-shot and few-shot learning for SKG. We also use UnifiedSKG to conduct a series of controlled experiments on structured knowledge encoding variants across SKG tasks. UnifiedSKG is easily extensible to more tasks, and it is open-sourced at https://github.com/hkunlp/unifiedskg.

연구 동기 및 목표

• 다양한 도메인과 지식 소스에서 흩어져 있는 구조적 지식 기반(SKG) 연구의 분열 문제를 해결하기 위해 이질적인 작업들을 통합하기 위해.
• SKG의 데이터셋, 모델, 코드, 실험, 평가 지표를 하나의 확장 가능한 프레임워크로 표준화하기 위해.
• 통합 벤치마크를 사용해 사전 학습된 언어 모델(T5 등)이 다양한 SKG 작업에서 성능을 평가하기 위해.
• 특히 프리픽스 편조를 통한 다중 작업 학습의 효과성과 SKG 작업 간 일반화 능력 향상 여부를 조사하기 위해.
• 구조적 지식 인코딩의 견고성과 대규모 언어 모델의 제로샷/피셔샷 능력이 SKG 작업에서 어떻게 작용하는지 분석하기 위해.

제안 방법

• 자연어 요청과 구조적 지식을 입력으로, 자연어 또는 실행 가능한 프로그램을 출력으로 내보내는 통합 텍스트-투-텍스트 형식으로 21종의 이질적 SKG 작업을 변환하기 위해.
• 출력의 타당성과 성능 향상을 위해 제약 조건을 적용하거나 재정렬하는 방식으로 개별 작업에 대해 미세조정된 T5 모델을 사용하기 위해.
• 작업 간 지식 공유와 일반화 능력 향상을 위해 다중 작업 프리픽스 편조를 적용하기 위해.
• 다양한 구조적 지식 인코딩 전략이 모델 성능에 미치는 영향을 평가하기 위해 통제된 실험을 설계하기 위해.
• T0, GPT-3, Codex와 같은 대규모 모델을 사용해 통합된 SKG 작업에서 제로샷 및 피셔샷 능력을 벤치마크하기 위해.
• 출력 생성 과정에서의 실패 모드와 모델 크기 의존성 등을 규명하기 위해 종합적인 오류 분석을 수행하기 위해.

실험 결과

연구 질문

• RQ1 다양한 도메인과 지식 소스를 포함한 다수의 이질적 구조적 지식 기반(SKG) 작업을 효과적으로 표준화할 수 있는 통합 텍스트-투-텍스트 프레임워크가 가능한가?
• RQ2 단일한 통합 학습 및 평가 프로토콜을 사용할 때 T5 모델이 21종의 이질적 SKG 작업에서 최신 기술 성능(SOTA)을 달성할 수 있는가?
• RQ3 단일 작업 미세조정 또는 표준 다중 작업 학습에 비해 다중 작업 프리픽스 편조가 SKG 작업 전반에서 성능 향상에 상당한 기여를 하는가?
• RQ4 T0, GPT-3, Codex와 같은 대규모 언어 모델은 통합된 SKG 벤치마크에서 제로샷 및 피셔샷 설정에서 어떻게 성능을 내는가?
• RQ5 T5 모델은 구조적 지식 인코딩 방식의 변화에 얼마나 민감한가? 어떤 인코딩 패턴이 작업 간 가장 견고한 성능을 내는가?

주요 결과

• 미세조정된 T5 모델은 21개의 SKG 작업 중 20개에서 최신 기술 성능 또는 최신 기술 성능에 근접한 성능를 기록하여 다양한 작업 간 강력한 일반화 능력을 입증한다.
• T5 모델의 성능은 모델 크기에 따라 향상되며, T5-3B는 Logic2Text 및 ToTTo와 같은 복잡한 작업에서 더 작은 버전보다 뛰어난 성능를 보인다.
• 다중 작업 프리픽스 편조는 대부분의 작업에서 성능 향상을 크게 개선하며, 특히 T5-base 및 T5-large에서 효과적인 지식 전이가 이루어지는 것으로 나타나, SKG 작업 간 일반화 능력 향상에 기여한다.
• T0, GPT-3, Codex는 SKG 작업에서 제로샷 및 피셔샷 학습에서 어려움을 겪으며, 이는 이러한 모델이 구조적 지식 기반 작업에서 발생하는 분포 이탈에 대해 견고하지 않음을 시사한다.
• T5 모델은 구조적 지식 인코딩 방식의 변화에 민감하며, 인코딩 형식에 따라 성능이 다름을 보이며, 이는 작업에 맞는 전용 인코딩 전략이 필요함을 강조한다.
• 오류 분석 결과, T5-3B 역시 잘못된 출력을 생성할 수 있으며, 더 큰 모델은 오류율을 낮추지만 완전히 구조적 오류나 사실 오류를 제거하지는 못한다.