[논문 리뷰] Learning by Distilling Context

Charlie Snell, Dan Klein외 1명|arXiv (Cornell University)|2022. 09. 30.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 언어 모델가 컨텍스트 토큰(예: 지시사항, 스케치패드, 예시 등)에서 성능 향상을 내재화할 수 있도록 하는 컨텍스트 딜리게이션을 제안한다. 이는 자가 생성된 완성문으로의 피니팅을 통해 이루어지며, SPIDER Text-to-SQL에서 기울기 하강법보다 9% 높은 정확도를 달성하고, 단계별 추론 능력을 후행 작업으로 이식하는 데 성공한다.

ABSTRACT

Language models significantly benefit from context tokens, such as prompts or scratchpads. They perform better when prompted with informative instructions, and they acquire new reasoning capabilities by generating a scratch-pad before predicting the final answers. However, they do not extit{internalize} these performance gains, which disappear when the context tokens are gone. Our work proposes to apply context distillation so that a language model can improve itself by internalizing these gains. Concretely, given a synthetic unlabeled input for the target task, we condition the model on ``[instructions] + [task-input]'' to predict ``[scratch-pad] + [final answer]''; then we fine-tune the same model to predict its own ``[final answer]'' conditioned on the ``[task-input]'', without seeing the ``[instructions]'' or using the ``[scratch-pad]''. We show that context distillation is a general method to train language models, and it can effectively internalize 3 types of training signals. First, it can internalize abstract task instructions and explanations, so we can iteratively update the model parameters with new instructions and overwrite old ones. Second, it can internalize step-by-step reasoning for complex tasks (e.g., 8-digit addition), and such a newly acquired capability proves to be useful for other downstream tasks. Finally, it can internalize concrete training examples, and it outperforms directly learning with gradient descent by 9\% on the SPIDER Text-to-SQL dataset; furthermore, combining context distillation operations can internalize more training examples than the context window size allows.

연구 동기 및 목표

• 컨텍스트 토큰(예: 지시사항, 스케치패드 등)이 제거될 경우 언어 모델이 성능 향상을 상실하는 한계를 해결한다.
• 외부 컨텍스트에 의존하지 않고도 단계별 추론이나 작업 전용 지시사항과 같은 복잡한 능력을 언어 모델이 내재화할 수 있도록 한다.
• 반복적 딜리게이션을 통해 컨텍스트 창 크기보다 더 많은 예시를 딜리게이션하여 컨텍스트 창 제한을 극복한다.
• 기존의 능력(예: 지시사항 준수)을 유지하면서 모델 성능을 향상시키는 일반 목적의 훈련 방법을 개발한다.

제안 방법

• 교사 모델을 사용해 지시사항과 작업 입력을 포함한 상세한 프롬프트에 기반해 스케치패드와 최종 답변을 생성한다.
• 교사의 완성문에서 최종 답변을 추출하고, 동일한 모델을 최소한의 학생 프롬프트에서 직접 이를 예측하도록 피니팅한다.
• 추상적 작업 지시사항, 구체적 예시(예: SPIDER에서의 예시), 단계별 추론(예: 8자리 수의 덧셈)의 세 가지 유형의 신호에 대해 딜리게이션을 적용한다.
• 기울기 소실 방지를 위해 딜리게이션 데이터와 인라인 컨텍스트 학습 예시의 조합을 사용한다.
• 반복적으로 딜리게이션을 적용하여 컨텍스트 창에 담을 수 있는 예시 수를 초월해 더 많은 예시를 내재화하고, 성능 향상이 지속적으로 이루어지는지 관찰한다.
• 유사한 후행 작업(예: 덧셈이 필요한 단어 문제)에서 딜리게이션된 추론 능력의 이식 가능성을 테스트하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 언어 모델가 컨텍스트 딜리게이션을 통해 추상적 작업 지시사항과 설명을 내재화할 수 있으며, 반복적으로 업데이트될 수 있는가?
• RQ2 8자리 덧셈과 같은 단계별 추론 능력이 효과적으로 내재화되고 다른 추론 작업으로 이식될 수 있는가?
• RQ3 특히 컨텍스트 창 제약 조건 하에서, 구체적 예시 학습 시 기울기 하강법 피니팅보다 컨텍스트 딜리게이션 방법이 성능을 더 잘 끌어올릴 수 있는가?
• RQ4 여러 단계의 딜리게이션을 조합하면 컨텍스트 창 크기보다 더 많은 훈련 예시를 내재화할 수 있는가?
• RQ5 내재화된 추론 능력이 유사한 인지 작업을 요구하는 새로운, 알려지지 않은 작업으로 일반화될 수 있는가?

주요 결과

• SPIDER Text-to-SQL 데이터셋에서 8-shot 적응 조건에서, 컨텍스트 딜리게이션은 직접 기울기 하강법 피니팅보다 9% 높은 성능 향상을 달성한다.
• 8자리 덧셈의 단계별 추론을 딜리게이션한 후, 모델의 직접 덧셈 정확도는 1%에서 17%로 상승하여 효과적인 내재화가 이루어졌음을 보여준다.
• 내재화된 모델는 지시사항 준수 작업에서 강력한 성능(ROUGE-L: 57 → 58)을 유지하여 원래 능력의 기울기 소실이 발생하지 않았음을 시사한다.
• 내재화된 덧셈 능력은 유사한 추론 작업으로 이식되어, 덧셈을 포함하는 합성 단어 문제에서 성능이 17%에서 30%로 상승한다.
• 반복적 컨텍스트 딜리게이션을 통해 컨텍스트 창 크기보다 더 많은 훈련 예시를 내재화할 수 있었고, 더 많은 딜리게이션 단계를 거치면서 성능 향상이 지속적으로 이루어졌다.
• 이 방법은 다양한 유형의 훈련 신호에 대해 일반화 가능하며, 추상적 지시사항, 구체적 예시, 구조화된 추론을 포함하여 넓은 적용 범위를 보였다.