[논문 리뷰] Do Language Models Have Beliefs? Methods for Detecting, Updating, and Visualizing Model Beliefs

Peter Hase, Mona Diab외 6명|arXiv (Cornell University)|2021. 11. 26.

Topic Modeling참고 문헌 28인용 수 15

한 줄 요약

이 논문은 신뢰 그래프와 학습된 최적화기들을 사용하여 언어 모델 내의 신뢰를 탐지하고 업데이트하며 시각화하는 방법을 제안한다. 순차적이고 국소적이며 일반화 가능한 신뢰 업데이트를 위한 SLAG 학습 목표를 도입하여, 학습된 최적화기가 보다 전통적인 기준선보다 잘못된 신뢰를 수정하는 데서 더 뛰어나며, 특히 다중 업데이트 설정에서 논리적 일관성을 향상시킴을 보여준다.

ABSTRACT

Do language models have beliefs about the world? Dennett (1995) famously argues that even thermostats have beliefs, on the view that a belief is simply an informational state decoupled from any motivational state. In this paper, we discuss approaches to detecting when models have beliefs about the world, and we improve on methods for updating model beliefs to be more truthful, with a focus on methods based on learned optimizers or hypernetworks. Our main contributions include: (1) new metrics for evaluating belief-updating methods that focus on the logical consistency of beliefs, (2) a training objective for Sequential, Local, and Generalizing model updates (SLAG) that improves the performance of learned optimizers, and (3) the introduction of the belief graph, which is a new form of interface with language models that shows the interdependencies between model beliefs. Our experiments suggest that models possess belief-like qualities to only a limited extent, but update methods can both fix incorrect model beliefs and greatly improve their consistency. Although off-the-shelf optimizers are surprisingly strong belief-updating baselines, our learned optimizers can outperform them in more difficult settings than have been considered in past work. Code is available at https://github.com/peterbhase/SLAG-Belief-Updating

연구 동기 및 목표

• 논리적 일관성과 구조적 성질을 바탕으로 언어 모델이 신뢰 유사 상태를 갖는지 탐지할 수 있는 실용적인 방법을 개발하기 위해.
• 전체 재학습 없이도 사실 오류를 수정할 수 있는 신뢰 업데이트 기법을 향상시키며, 다양한 어휘 재구성과 함의 관계에서의 일관성과 일반화를 중점적으로 다루기 위해.
• 모델의 신뢰 간 상호의존성을 시각화하여 이해 가능성과 오류 분석을 돕는 새로운 인터페이스인 신뢰 그래프를 도입하기 위해.
• 정확도 외에도 관련된 신뢰들 사이에서 논리적 일관성을 유지하거나 복원할 수 있는 능력으로 신뢰 업데이트 방법을 평가하기 위해.
• 신뢰 조작의 윤리적 영향, 특히 잘못된 신뢰를 수정하는 과정에서 유해한 신뢰를 유도할 수 있는 위험을 탐구하기 위해.

제안 방법

• 모델 출력에 대해 어휘 재구성, 함의 관계, 논리적 전이성에 대한 일관성 평가를 위한 메트릭을 사용하여 신뢰 유사 행동을 탐지한다.
• 사실 확인 및 질문-응답 데이터셋에서의 모델 예측을 기반으로 신뢰 그래프를 구성하며, 신뢰를 노드로, 의존 관계를 간선으로 표현한다.
• 순차적, 국소적, 일반화 가능한(SLAG) 목표를 사용하여 학습된 최적화기를 훈련시켜 관련 문장들 사이에서 일관성을 유지하는 방식으로 신뢰를 업데이트한다.
• 기존 최적화기를 강력한 기준선으로 삼고, 다중 업데이트 설정에서 학습된 최적화기와 비교하여 일반화 능력과 강건성을 평가한다.
• FEVER 및 LeapOfThought와 같은 데이터셋에 신뢰 업데이트 기법을 적용하여 논리적으로 관련된 입력에 대한 예측 변화를 측정함으로써 전이성과 오염 여부를 평가한다.
• 업데이트의 부작용을 탐지하기 위해 % 업데이트 전이성 및 # 오염된 예측 등의 메트릭을 사용하여 신뢰 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 언어 모델이 어휘 재구성과 함의 관계에서 일관성을 보이는 등, 얼마나 깊이까지 신뢰 유사 성질을 나타내는가?
• RQ2 특히 다중 업데이트 및 순차적 설정에서, 학습된 최적화기가 기존 최적화기보다 얼마나 효과적으로 모델의 신뢰를 업데이트하는가?
• RQ3 신뢰 그래프가 모델 예측 간 논리적 상호의존성을 정확히 표현할 수 있으며, 구조적 취약점을 드러낼 수 있는가?
• RQ4 한 신뢰를 업데이트하면 다른 논리적으로 관련된 신뢰에 어떤 영향을 미치며, 이 과정이 얼마나 전이성 있는가?
• RQ5 신뢰 업데이트 기법을 사용해 모델 행동을 조작할 경우, 특히 유해한 신뢰를 유도할 수 있는 위험과 윤리적 함의는 무엇인가?

주요 결과

• SLAG 학습 목표는 학습된 최적화기의 다중 신뢰 순차 업데이트 성능을 크게 향상시켜, 복잡한 설정에서 기존 최적화기보다 뛰어난 성능을 보였다.
• 기존 최적화기는 놀랍도록 강력한 기준선를 제공하며, 간단한 업데이트 작업에서는 종종 전용 학습된 최적화기와 맞먹거나 뛰어나다.
• 신뢰 그래프는 모델의 신뢰가 매우 밀접하게 연결되어 있음을 드러내며, 일부 신뢰는 수백 개의 다른 신뢰에 영향을 미치며, LeapOfThought 데이터셋에서 95% 분위수 노드는 5,000개 이상의 인바운드 간선을 가짐을 보였다.
• FEVER에서 66.64%, LeapOfThought에서 24.38%의 신뢰 업데이트만이 완전한 전이성을 보이며, 이는 모델 업데이트가 종종 혼란스러운 신뢰 변화를 초래함을 시사한다.
• LeapOfThought 데이터셋에서 최대 2,752개의 정확한 예측이 모델 업데이트 과정에서 오염되었으며, 이는 신뢰 업데이트가 간접적으로 관련 없는 예측까지 손상시킬 수 있음을 보여준다.
• 구축된 신뢰 그래프의 모든 신뢰가 연결되어 있으며, 간선이 없는 노드가 0% 존재함을 확인하여, 모든 신뢰가 표적 업데이트를 통해 수정 가능함을 보여주며, 이는 신뢰 편집의 체계적 영향을 강조한다.