[논문 리뷰] Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals

Yanai Elazar, Shauli Ravfogel외 2명|arXiv (Cornell University)|2020. 06. 01.

Topic Modeling참고 문헌 34인용 수 6

한 줄 요약

이 논문은 신경망 언어 모델이 특정 문맥적 특성(예: 품사)을 어떻게 사용하는지, 해당 특성을 표현에서 제거하고 행동적 영향을 측정함으로써 평가하는 반사적 탐색(Counterfactual Probing) 기법인 Amnesic Probing을 소개한다. 표준 탐색과 달리, Amnesic Probing는 높은 탐색 정확도가 과제의 관련성을 의미하지는 않음을 드러내며, 예를 들어 BERT의 마스크된 언어 모델링 과제에서는 품사 정보가 자주 인코딩되지만 실제로는 사용되지 않는다는 것을 보여준다.

ABSTRACT

A growing body of work makes use of probing to investigate the working of neural models, often considered black boxes. Recently, an ongoing debate emerged surrounding the limitations of the probing paradigm. In this work, we point out the inability to infer behavioral conclusions from probing results and offer an alternative method that focuses on how the information is being used, rather than on what information is encoded. Our method, Amnesic Probing, follows the intuition that the utility of a property for a given task can be assessed by measuring the influence of a causal intervention that removes it from the representation. Equipped with this new analysis tool, we can ask questions that were not possible before, e.g. is part-of-speech information important for word prediction? We perform a series of analyses on BERT to answer these types of questions. Our findings demonstrate that conventional probing performance is not correlated to task importance, and we call for increased scrutiny of claims that draw behavioral or causal conclusions from probing results.

연구 동기 및 목표

• 모델이 인코딩된 정보를 어떻게 사용하는지에 대한 행동적 또는 인과적 결론을 도출하는 데 있어 표준 탐색의 한계를 해결하기 위해.
• 단지 표현 내 존재 여부를 확인하는 것이 아니라, 언어적 특성이 모델 행동에 실제로 미치는 영향을 평가하는 방법을 개발하기 위해.
• 일반적으로 탐색되는 언어적 특성(예: 품사 및 의존 구조 레이블)이 마스크된 언어 모델링과 같은 과제에서 기능적으로 중요한지 조사하기 위해.
• BERT에서 마스크된 설정과 마스크되지 않은 설정 간의 언어적 정보 사용 방식의 상당한 차이를 드러내기 위해.
• 반사적 간섭을 통해 층 별 기여도를 분석함으로써 이전에 제기된 BERT의 내부 처리 방식에 대한 주장을 재평가하기 위해.

제안 방법

• Amnesic Probing는 반사적 간섭을 통해 이터레이티브 노울스페이스 프로젝션(INLP)을 사용해 문맥화된 표현에서 특정 언어적 특성(예: 품사)을 제거함으로써 수행된다.
• 이 방법은 정보 삭제 후 내림받은 과제(예: 마스크된 언어 모델링)에서의 모델 예측 성능을 평가함으로써 제거의 행동적 영향을 측정한다.
• 이 방법은 두 단계 과정을 사용한다: 첫째, 탐색기가 표현 공간 내 언어적 특성의 방향을 식별한다; 둘째, INLP는 표현을 그 방향의 영공간으로 프로젝션하여 중성화한다.
• 이 방법은 정보 제거 전후의 예측 정확도를 비교하여 제거된 특성이 과제에 얼마나 유용한지 평가한다.
• 이 방법은 다양한 BERT 층과 입력 설정에서 더 큰 범주적 특성(예: 품사)과 더 세밀한 하위 유형(예: 명사, 관형사)을 모두 분석할 수 있다.
• 이 접근법은 마스크된 설정과 마스크되지 않은 설정 모두에서 BERT에 적용되어, 다른 훈련 및 추론 환경에서 언어 정보 사용 방식을 비교한다.

실험 결과

연구 질문

• RQ1 특정 언어적 특성(예: 품사)에 대해 높은 탐색 정확도가 모델이 그 정보를 예측에 실제로 사용한다는 것을 의미하는가?
• RQ2 BERT에서 마스크된 입력 설정과 마스크되지 않은 입력 설정 간에 언어적 특성의 행동적 영향은 어떻게 다를까?
• RQ3 특정 하위 유형의 언어적 특성(예: 명사나 관형사와 같은 품사) 중에서 단어 예측에 가장 큰 영향을 미치는 것은 무엇인가?
• RQ4 BERT의 다양한 층은 언어적 정보를 어떻게 사용하며, 특정 특성의 제거에 대해 가장 민감한 층은 어디인가?
• RQ5 표준 탐색보다 Amnesic Probing가 언어적 특성의 모델 행동에 대한 더 신뢰할 수 있는 인과적 기여도를 제공할 수 있는가?

주요 결과

• 품사와 같은 언어적 특성에 대해 높은 탐색 정확도가 마스크된 언어 모델링 과제에서 실제로 그 정보가 사용된다는 것을 의미하지는 않으며, 이는 탐색 결과에 대한 일반적인 해석을 도전한다.
• Amnesic Probing를 통해 품사 정보를 제거하면 마스크된 언어 모델링에서 성능이 크게 떨어지며, 이는 BERT가 예측에 실제로 품사 정보를 기능적으로 사용한다는 것을 시사한다.
• 언어적 특성은 마스크된 설정과 마스크되지 않은 설정에서 다르게 사용된다: BERT는 마스크된 설정에서는 문법적 및 형태적 특성에 더 의존하는 반면, 마스크되지 않은 입력에서는 이러한 특성에 대한 의존도가 감소한다.
• 세밀한 분석 결과, 모든 품사가 동일하게 영향을 미치지는 않는다. 관형사와 대명사는 다른 품사들(예: 형용사나副사)보다 예측에 더 큰 영향을 미친다.
• 층 별 분석 결과, BERT의 초기 층들이 언어적 특성의 제거에 더 민감한 것으로 나타나, 이들은 문법적 및 형태적 처리에 핵심적인 역할을 한다고 시사한다.
• 이 방법은 일부 표현이 Amnesic 간섭 후에도 높은 탐색 정확도를 유지하는 것으로 드러나, 선형 중성화에도 불구하고 비선형 인코딩이나 허구적 상관관계가 지속될 수 있음을 보여준다.