[논문 리뷰] ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data

Xiaochuang Han, Yulia Tsvetkov|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 반복적 기울기 기반 선택을 사용하여 다운스트림 작업에서 언어 모델의 성능을 지원하는 최소한의 사전학습 데이터 서브셋을 식별하는 ORCA라는 방법을 제안한다. 분석 결과, 감성 분석과 텍스트 함의 작업에서 BERT의 제로샷 성능은 BookCorpus와 작업 용어자르기의 동의어를 마스킹한 예시에 크게 의존하고 있음을 밝혀냈다.

ABSTRACT

Large pretrained language models have been performing increasingly well in a variety of downstream tasks via prompting. However, it remains unclear from where the model learns the task-specific knowledge, especially in a zero-shot setup. In this work, we want to find evidence of the model's task-specific competence from pretraining and are specifically interested in locating a very small subset of pretraining data that directly supports the model in the task. We call such a subset supporting data evidence and propose a novel method ORCA to effectively identify it, by iteratively using gradient information related to the downstream task. This supporting data evidence offers interesting insights about the prompted language models: in the tasks of sentiment analysis and textual entailment, BERT shows a substantial reliance on BookCorpus, the smaller corpus of BERT's two pretraining corpora, as well as on pretraining examples that mask out synonyms to the task verbalizers.

연구 동기 및 목표

• 다운스트림 작업에서 언어 모델의 성능을 직접 뒷받침하는 소규모, 작업별 특화된 사전학습 데이터 서브셋을 식별하는 것.
• 프롬프트 기반 언어 모델이 피니튜닝 없이 지식을 학습하는 방식, 특히 제로샷 설정에서의 학습 과정을 해석 가능하게 하는 것.
• 입력 수준의 기여도 분석을 넘어서, 작업 전반에 걸쳐 모델 행동에 영향을 주는 사전학습 데이터 증거를 식별하는 것.
• 모델이 특정 사전학습 데이터 소스나 패턴에 의존하여 작업 능력을 획득하는지 분석하는 것.
• 모델 결정의 근거가 되는 증거를 분석함으로써 모델 신뢰성, 데이터 품질 및 잠재적 편향에 대한 통찰을 제공하는 것.

제안 방법

• 다운스트림 작업 성능 향상에 기여하는 사전학습 예제의 최소 집합을 식별하는 문제를 수식화하는 것.
• 다운스트림 작업에서의 작업별 기울기를 사용하여 모델 예측에 가장 큰 영향을 주는 사전학습 예제를 반복적으로 선택하는 것.
• 각 예제별 기울기를 계산하고 기울기 크기가 가장 큰 예제를 선택하는 반복적 선택 과정을 적용하는 것.
• 지속적인 기울기 유도 선택을 통해 지원 데이터 증거 후보 집합을 유지하고 개선하는 것.
• 각 사전학습 예제가 모델의 다운스트림 성능에 미치는 영향을 측정하기 위해 손실 기반 목적 함수를 사용하는 것.
• 재학습 없이 원본 사전학습 데이터에서 작동하며, 사전학습 과정에서 특정 예제의 가중치를 높이는 것과 유사한 효과를 시뮬레이션하는 것.

실험 결과

연구 질문

• RQ1 특정 다운스트림 작업에서 언어 모델의 제로샷 성능를 가장 직접적으로 뒷받침하는 사전학습 예제는 무엇인가?
• RQ2 감성 분석과 텍스트 함의와 같은 작업에서의 모델 능력은 특정 사전학습 코퍼스나 패턴에서 기인하는가?
• RQ3 영향력 측정 기준에서 지원 데이터 증거는 임베딩 공간 내 무작위 서브셋이나 최근접 이웃과 비교해 어떻게 다른가?
• RQ4 가장 영향력 있는 사전학습 예제에 나타나는 언어 패턴(예: 동의어 마스킹)은 어떤가?
• RQ5 모델의 피니튜닝이나 재학습에 접근할 수 없을 때 기울기 기반 선택이 높은 영향력을 가진 사전학습 데이터를 효과적으로 식별할 수 있는가?

주요 결과

• 감성 분석과 텍스트 함의 작업에서 BERT의 제로샷 성능는 두 사전학습 소스 중 더 작은 BookCorpus에 의해 상당히 뒷받침되고 있다.
• 작업 용어자르기의 동의어를 마스킹한 사전학습 예제에 강한 의존성을 보이며, 동의어 대체 표현 패턴의 기억화를 시사한다.
• ORCA가 식별한 지원 데이터 증거는 다운스트림 작업 유사도와 영향력 측면에서 랜덤 서브셋 및 임베딩 공간 내 최근접 이웃보다 뛰어나다.
• MAUVE 유사도 점수는 지원 데이터 증거의 맥락이 기준 방법보다 다운스트림 작업 입력과 의미적으로 더 가까운 것으로 나타났다.
• 모델의 결정이 입력 프롬프트에 직접적으로 연결되지 않더라도, 이는 고성능 사전학습 예제를 성공적으로 식별할 수 있었다.
• 발견된 증거는 모델의 행동이 사전학습 데이터의 특정 언어 패턴(예: 마스킹된 동의어 교체)에 의해 영향을 받고 있음을 드러냈다.