[논문 리뷰] TART: A plug-and-play Transformer module for task-agnostic reasoning

Kush Bhatia, Avanika Narayan외 2명|arXiv (Cornell University)|2023. 06. 13.

Topic Modeling인용 수 4

한 줄 요약

Tart는 태스크 특화 미세튜닝 없이도 대규모 언어 모델의 인라인 학습 성능을 향상시키기 위해 확률적 추론 능력을 향상시키는 플러그 앤 플레이 기반의 트랜스포머 기반 추론 모듈을 제안한다. 합성 로지스틱 회귀 태스크로 훈련된 Tart는 다양한 모델(GPT-Neo, Pythia, Bloom), 태스크(14개의 NLP 이진 분류), 그리고 모odalities(시각, 오디오)에서 성능을 향상시키며, 인라인 학습을 능가하고 전체 미세튜닝 성능에 가까워진다. 예를 들어, GPT-Neo(125M)는 RAFT 벤치마크에서 Bloom(176B)을 능가한다.

ABSTRACT

Large language models (LLMs) exhibit in-context learning abilities which enable the same model to perform several tasks without any task-specific training. In contrast, traditional adaptation approaches, such as fine-tuning, modify the underlying models for each specific task. In-context learning, however, consistently underperforms task-specific tuning approaches even when presented with the same examples. While most existing approaches (e.g., prompt engineering) focus on the LLM's learned representations to patch this performance gap, our analysis actually reveal that LLM representations contain sufficient information to make good predictions. As such, we focus on the LLM's reasoning abilities and demonstrate that this performance gap exists due to their inability to perform simple probabilistic reasoning tasks. This raises an intriguing question: Are LLMs actually capable of learning how to reason in a task-agnostic manner? We answer this in the affirmative and propose TART which generically improves an LLM's reasoning abilities using a synthetically trained Transformer-based reasoning module. TART trains this reasoning module in a task-agnostic manner using only synthetic logistic regression tasks and composes it with an arbitrary real-world pre-trained model without any additional training. With a single inference module, TART improves performance across different model families (GPT-Neo, Pythia, BLOOM), model sizes (100M - 6B), tasks (14 NLP binary classification tasks), and even across different modalities (audio and vision). Additionally, on the RAFT Benchmark, TART improves GPT-Neo (125M)'s performance such that it outperforms BLOOM (176B), and is within 4% of GPT-3 (175B). Our code and models are available at https://github.com/HazyResearch/TART .

연구 동기 및 목표

• 대규모 언어 모델에서 인라인 학습과 태스크 특화 미세튜닝 사이의 지속적인 성능 격차를 해결한다.
• 이 성능 격차가 LLM의 나쁜 표현 능력 때문인지, 약한 추론 능력 때문인지 파악한다.
• 태스크에 종속되지 않고 모델에 종속되지 않으며 데이터 스케일러블한 방식으로 추론을 향상시키는 방법을 개발한다.
• 추가 훈련 없이도 어떤 사전 훈련된 LLM의 추론 능력을 향상시킬 수 있는 플러그 앤 플레이 모듈을 설계한다.
• 태스크 특화 미세튜닝 수준의 성능 격차를 해소하면서도 다양한 태스크와 모달리티에서 일반화 능력을 유지한다.

제안 방법

• 합성 로지스틱 회귀 태스크로 전용 트랜스포머 기반 추론 모듈을 훈련시켜 확률적 추론 능력을 향상시킨다.
• 추론 모듈을 사전 훈련된 LLM의 임베딩과 함께 추론 시점에 조합하여 추가 훈련 없이 사용한다.
• 하나의 태스크에 종속되지 않는 추론 모듈을 한 번만 합성 데이터로 훈련시켜 다양한 모델 패밀리와 하류 태스크에 일반화한다.
• 14개의 이진 분류 NLP 태스크, 시각, 오디오 태스크에 모듈을 적용하여 다중 도메인 일반화 능력을 평가한다.
• 모듈이 표준 인라인 학습보다 최대 10배 더 많은 few-shot 예제를 처리할 수 있도록 데이터 스케일러블성을 확보한다.
• LLM의 토큰 임베딩을 추론 모듈의 입력 공간에 맞추기 위해 학습 가능한 프로젝션 헤드를 사용한다.

실험 결과

연구 질문

• RQ1 인라인 학습과 미세튜닝 사이의 성능 격차가 LLM의 추론 능력 부족에서 비롯되는 정도는 어느 정도인가?
• RQ2 한 개의 합성 데이터로 훈련된 추론 모듈이 다양한 LLM 패밀리와 태스크에서 인라인 학습을 향상시킬 수 있는가?
• RQ3 제안된 방법이 태스크 특화 미세튜닝 수준의 성능를 달성하면서도 태스크에 종속되지 않는가?
• RQ4 재학습 없이도 다양한 모달리티(예: 텍스트, 시각, 오디오) 간에 추론 모듈이 일반화 가능한가?
• RQ5 Tart의 성능는 증가하는 few-shot 예제 수에 따라 어떻게 스케일링되는가?

주요 결과

• LLM은 고품질의 표현을 지니며, 인라인 학습과 미세튜닝 사이의 성능 격차의 약 79%는 약한 추론 능력에서 기인한다.
• 미세튜닝은 표현과 추론을 모두 향상시키지만, 성능 향상의 약 72%는 향상된 추론에서 기인한다.
• Tart는 14개의 NLP 태스크 평균에서 인라인 학습 정확도를 18.4% 향상시키며, 전체 미세튜닝 성능과 3.1% 이내에 도달한다.
• RAFT 벤치마크에서 Tart를 사용한 GPT-Neo(125M)는 Bloom(176B)을 능가하여 강력한 모델에 종속되지 않는 일반화 능력을 입증한다.
• Tart는 GPT-Neo, Pythia, Bloom 등의 모델 패밀리, 모델 크기(100M–6B), 그리고 모달리티(텍스트, 시각, 오디오) 간에 추가 훈련 없이 일반화되며, 성능 향상이 유지된다.
• 더 많은 few-shot 예제가 제공될수록 성능이 향상되며, 표준 인라인 학습보다 최대 10배 더 많은 예제를 처리할 수 있어 데이터 스케일러블성이 향상된다.