[논문 리뷰] Factual Probing Is [MASK]: Learning vs. Learning to Recall

Zexuan Zhong, Dan Friedman외 1명|arXiv (Cornell University)|2021. 04. 12.

Topic Modeling참고 문헌 28인용 수 22

한 줄 요약

이 논문은 이산 토큰이 아닌 임bedding 공간에서의 탐색을 통해 사전 훈련된 언어 모델의 사실 탐지 성능을 향상시키기 위한 연속 최적화 방법인 OptiPrompt을 소개한다. LAMA 벤치마크에서 정확도를 6.4% 향상시키며, 프롬프트 검색 방법이 훈련 데이터의 통계적 규칙성에 의존한다는 점을 드러내어, 탐지 결과가 모델 내부 지식만 반영한다는 가정에 도전한다.

ABSTRACT

Petroni et al. (2019) demonstrated that it is possible to retrieve world facts from a pre-trained language model by expressing them as cloze-style prompts and interpret the model's prediction accuracy as a lower bound on the amount of factual information it encodes. Subsequent work has attempted to tighten the estimate by searching for better prompts, using a disjoint set of facts as training data. In this work, we make two complementary contributions to better understand these factual probing techniques. First, we propose OptiPrompt, a novel and efficient method which directly optimizes in continuous embedding space. We find this simple method is able to predict an additional 6.4% of facts in the LAMA benchmark. Second, we raise a more important question: Can we really interpret these probing results as a lower bound? Is it possible that these prompt-search methods learn from the training data too? We find, somewhat surprisingly, that the training data used by these methods contains certain regularities of the underlying fact distribution, and all the existing prompt methods, including ours, are able to exploit them for better fact prediction. We conduct a set of control experiments to disentangle "learning" from "learning to recall", providing a more detailed picture of what different prompts can reveal about pre-trained language models.

연구 동기 및 목표

• 사전 훈련된 언어 모델의 사실 탐지 작업에서 연속 임베딩 공간을 활용한 프롬프트 최적화 방법을 보다 효과적으로 개발하기 위해.
• OptiPrompt와 같은 프롬프트 검색 방법이 모델 내부 지식을 학습하는지, 아니면 훈련 데이터의 통계적 규칙성에 의존하는지 조사하기 위해.
• 사실 탐지 작업에서 '학습'(모델 가중치로부터)과 '기억을 떠올리는 법'(훈련 데이터 패턴에서)을 분리하기 위해.
• 사전 훈련된 언어 모델에 대해 탐지 결과가 실제로 무엇을 드러내는지에 대해 더 세밀한 이해를 제공하기 위해.
• 데이터 기반 일반화와 모델 기반 일반화를 분리하는 제어 실험을 도입하여 사실 탐지의 진단 정확도를 향상시키기 위해.

제안 방법

• OptiPrompt은 이산 토큰이 아닌 연속적인 입력 임베딩을 직접 최적화하여 임베딩 공간에서 기울기 기반 탐색을 가능하게 한다.
• 수동으로 작성한 프롬프트에서 초기화하여 수렴성과 성능을 향상시킨다.
• 표준 역전파를 사용하여 입력 임베딩을 갱신함으로써, 모델이 [MASK] 토큰에 대해 훈련 세트에서 정확도가 최대가 되도록 예측하도록 한다.
• 모델 파라미터의 미세조정이 필요 없어 계산적으로 효율적이다.
• 제어 실험은 랜덤 기반 베이스라인과 훈련 데이터만으로 학습된 단순 분류기와의 성능을 비교한다.
• 표준 LAMA와 더 어려운 LAMA-UHN 분할을 모두 평가하여, 어휘 힌트에 대한 강건성을 점검한다.

실험 결과

연구 질문

• RQ1 이산 프롬프트 검색과 비교해보았을 때, 임베딩 공간에서의 연속 최적화가 사실 탐지 정확도를 크게 향상시킬 수 있는가?
• RQ2 OptiPrompt와 같은 프롬프트 검색 방법이 모델 내부 지식이 아닌 훈련 데이터의 통계적 규칙성에 얼마나 의존하는가?
• RQ3 탐지 정확도 향상은 더 나은 모델 활용 때문인가, 아니면 데이터 분포 패턴의 이용 때문인가?
• RQ4 훈련 데이터만으로 학습된 분류기가 언어 모델에 접근하지 않고도 사실을 예측할 수 있는가?
• RQ5 다양한 프롬프트 방법은 '쉬운' 예제와 '어려운' 예제에서 어떻게 성능을 내며, 이는 그들의 일반화 행동에 대해 무엇을 드러내는가?

주요 결과

• OptiPrompt는 LAMA 벤치마크에서 사실 탐지 정확도를 이전의 이산 방법 대비 42.2%에서 48.6%로 향상시켜 상대적으로 6.4% 향상되었다.
• LAMA-UHN 분할에서 OptiPrompt는 정확도를 31.3%에서 38.4%로 끌어올려 어휘 힌트에 대한 강건성을 입증했다.
• 훈련 데이터만으로 학습된 단순 분류기가 테스트 세트에서 비현저한 정확도(최대 20%)를 달성하여, 데이터 분포에 쉽게 이용 가능한 규칙성이 존재한다는 것을 시사한다.
• OptiPrompt를 포함한 모든 프롬프트 검색 방법이 이러한 데이터 규칙성의 이점을 얻고 있어, 성능 향상의 일부가 데이터 기억 또는 패턴 이용 때문임을 시사한다.
• OptiPrompt는 '쉬운' 예제와 '어려운' 예제 양쪽에서 이전 방법을 능가하며, 데이터 기반 일반화와 모델 기반 사실 기억 양쪽 모두에서 효과적이라는 것을 보여준다.
• 이 연구는 탐지 결과가 모델 내부 지식의 엄격한 하한선으로 간주될 수 없다는 점을 드러내었으며, 데이터 분포 패턴에 의해 혼동되기 때문이다.