[논문 리뷰] When Bert Forgets How To POS: Amnesic Probing of Linguistic Properties and MLM Predictions

Yanai Elazar, Shauli Ravfogel외 2명|arXiv (Cornell University)|2020. 06. 01.

Topic Modeling참고 문헌 30인용 수 25

한 줄 요약

이 논문은 신경망 모델 내 언어적 성질의 기능적 중요성을 표현에서 특정 정보를 제거한 결과의 영향을 측정함으로써 평가하는 Amnesic Probing를 소개한다. BERT에 적용한 결과, 기존의 탐색 정확도가 임의의 작업 중요성과 상관관계가 없음을 확인하여, 탐색을 통해 행동적 또는 인과적 결론을 이끌어내는 데의 사용에 도전한다.

ABSTRACT

A growing body of work makes use of probing in order to investigate the working of neural models, often considered black boxes. Recently, an ongoing debate emerged surrounding the limitations of the probing paradigm. In this work, we point out the inability to infer behavioral conclusions from probing results, and offer an alternative method which is focused on how the information is being used, rather than on what information is encoded. Our method, Amnesic Probing, follows the intuition that the utility of a property for a given task can be assessed by measuring the influence of a causal intervention which removes it from the representation. Equipped with this new analysis tool, we can now ask questions that were not possible before, e.g. is part-of-speech information important for word prediction? We perform a series of analyses on BERT to answer these types of questions. Our findings demonstrate that conventional probing performance is not correlated to task importance, and we call for increased scrutiny of claims that draw behavioral or causal conclusions from probing results.

연구 동기 및 목표

• 신경망 모델 표현에 대한 행동적 또는 인과적 결론을 이끌어내는 데 있어 기존 탐색 기법의 한계를 해결하기 위해.
• 부사어 정보와 같은 언어적 성질이 단어 예측과 같은 최종 작업에 기능적으로 중요한지 조사하기 위해.
• 정보가 저장되어 있는지 여부가 아니라 정보가 어떻게 사용되는지를 평가하는 새로운 방법을 제안하기 위해.
• 탐색 성능를 언어적 특징의 중요성에 대한 대리 지표로 사용하는 것의 타당성을 도전하기 위해.

제안 방법

• Amnesic Probing는 타깃 간섭을 통해 BERT의 은닉 표현에서 특정 언어적 성질을 제거한다.
• 이 방법은 모델 예측의 변화, 특히 마스크된 언어 모델링(MLM) 성능의 변화를 측정하여 기능적 중요성을 평가한다.
• 인과적 간섭을 통해 추론 중 특정 언어적 특징(예: 품사 태그)의 기억 상실을 시뮬레이션한다.
• 이 접근법은 제거된 정보가 최종 예측 작업에 미치는 영향을 평가하며, 성능 저하 정도에 초점을 맞춘다.
• 기본 탐색 결과와 대비하여, 인코딩과 사용 간의 괴리를 평가하기 위해 Amnesic 간섭 후의 성능 저하를 분석한다.
• 이 방법은 BERT에 최종 MLM 작업에 대해 적용되어 언어적 성질의 중요성을 테스트한다.

실험 결과

연구 질문

• RQ1 BERT에서 단어 예측에 있어 품사 정보는 기능적으로 중요한가?
• RQ2 탐색 성능이 언어적 특징의 실제 작업 중요성과 어느 정도 상관관계가 있는가?
• RQ3 인과적 간섭은 기존 탐색으로는 탐지할 수 없는 기능적 종속성을 드러낼 수 있는가?
• RQ4 표현 내 언어적 정보의 존재가 예측 작업에서의 유용성을 의미하는가?

주요 결과

• 기존 탐색 성능는 최종 예측 작업에 대한 언어적 특징의 실제 중요성과 상관관계가 없다.
• 품사 정보는 매우 높은 탐색 가능성을 보이지만, BERT의 마스크된 언어 모델링에 있어 기능적으로 필수적인 것은 아니다.
• Amnesic Probing는 탐색 정확도가 높더라도 언어적 성질을 제거했을 때 성능 저하가 심각하게 발생함을 드러내어, 인코딩과 사용 간의 괴리가 있음을 시사한다.
• 연구 결과는 높은 탐색 정확도가 기능적 관련성을 의미하지는 않음을 입증하며, 탐색 결과에만 기반한 주장의 타당성을 떨어뜨린다.
• 결과적으로 탐색만으로는 신경망 모델 내 행동적 또는 인과적 관계를 신뢰성 있게 추론할 수 없다는 것을 시사한다.
• Amnesic Probing는 탐색을 표현의 유용성 측정 수단으로 해석하는 데서 비롯하는 한계를 드러내며, 더 인과적인 평가 방법의 필요성을 주장한다.