[논문 리뷰] The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction

Pratyusha Sharma, Jordan T. Ash외 1명|arXiv (Cornell University)|2023. 12. 21.

Topic Modeling인용 수 8

한 줄 요약

LASER는 특정 Transformer 가중치 행렬에서 고차원 특이 구성요소를 선택적으로 제거한 후 학습 이후에 종종 여러 벤치마크에서 추론 정확도를 개선합니다. 추가 데이터나 추가 학습 없이도 말이죠.

ABSTRACT

Transformer-based Large Language Models (LLMs) have become a fixture in modern machine learning. Correspondingly, significant resources are allocated towards research that aims to further advance this technology, typically resulting in models of increasing size that are trained on increasing amounts of data. This work, however, demonstrates the surprising result that it is often possible to significantly improve the performance of LLMs by selectively removing higher-order components of their weight matrices. This simple intervention, which we call LAyer-SElective Rank reduction (LASER), can be done on a model after training has completed, and requires no additional parameters or data. We show extensive experiments demonstrating the generality of this finding across language models and datasets, and provide in-depth analyses offering insights into both when LASER is effective and the mechanism by which it operates.

연구 동기 및 목표

• 선택적이고 사후 학습 랭크 감소가 Transformer의 추론 태스크 성능을 개선할 수 있음을 입증한다.
• 랭크 감소로 가장 큰 이점을 얻는 층과 행렬 유형을 식별한다.
• 학습 데이터의 빈도와 LASER의 이득 간의 관계를 분석한다.
• 모델, 데이터셋, 모달리티에 걸친 일반화를 입증한다.

제안 방법

• Transformer 층의 가중치 행렬 W를 SVD W = U Σ Vᵀ로 표현한다.
• 선택된 행렬을 상위 k 특이벡터를 사용한 랭크-k 근사 W_LR로 교체한다.
• LASER 중재를 (τ, ℓ, ρ)로 정의하여 행렬 유형, 층, 보존할 랭크 분수를 나타낸다.
• 검증 세트에서 성능을 최대화하도록 가능한 중재(및 구성)를 탐색한다.
• 일반성 및 강건성을 평가하기 위해 여러 데이터셋과 모델에서 평가한다.

실험 결과

연구 질문

• RQ1 특정 가중치 행렬의 표적화된 사후 학습 저랭크 근사가 재학습 없이 LLM의 추론을 개선할 수 있는가?
• RQ2 어떤 층 유형(예: MLP 대 어텐션)과 어떤 층이 LASER의 이점이 가장 큰가?
• RQ3 학습 데이터의 빈도와 LASER 이득 간의 관계는 무엇인가?
• RQ4 LASER 중재가 패러프레이즈 및 기타 언어적 섭동에 대한 강건성에 어떤 영향을 주는가?

주요 결과

• 랭크 축소는 큰 저하 없이 많은 가중치 행렬에 적용될 수 있으며, 후반부의 MLP 가중치가 종종 가장 큰 이점을 낸다.
• CounterFact에서 단일 층 LASER가 재학습 없이 top-1 정확도를 13.3%에서 24.1%로 올렸다(GPT-J 6B).
• 여러 층에 걸친 LASER 중재를 조합하면 추가적인 개선이 나타나며(예: CounterFact에서 top-10 정확도가 24.0%에서 29.2%로 증가).
• 훈련 데이터에서 낮은 빈도의 사실들에 대한 개선이 특히 두드러지며, 이는 약하게 학습된 정보를 표면화하는 디노이즈 제거 효과를 시사한다.
• 고차 구성요소는 종종 일반적인 고주파 단어 또는 대안 정답을 인코딩하는 경향이 있어 이를 제거하면 내부 충돌이 줄고 정답이 더 정확해진다.
• LASER 효과는 모델(Roberta, GPT-J, LLaMA2)과 작업(QA, 추론 벤치마크) 간에 일반화되며, 텍스트가 아닌 도메인(Sokoban의 Decision Transformer)까지 확장된다.
• 패러프레이즈 강건성은 특정 설정에서 LASER로 약 25 퍼센트 포인트 정도 향상된다.