[논문 리뷰] An Interpretability Illusion for BERT

Tolga Bolukbasi, Adam Pearce외 5명|arXiv (Cornell University)|2021. 04. 14.

Topic Modeling참고 문헌 26인용 수 10

한 줄 요약

이 논문은 BERT에서 '해석 가능성 환영'을 규명한다. 특정 데이터셋에서 상위로 활성화되는 문장들에 기반해 뉘앙스가 단순하고 해석 가능한 개념(예: 노래 제목)을 인코딩하는 것처럼 보이는 뉘앙스가 있지만, 다른 데이터셋에서 테스트해보면 이러한 해석이 붕괴됨을 보여준다. 이는 실제 의미적 표현이 아니라 데이터셋에 특화된 분포적 편향에 기인한 결과물임을 시사한다. 주요 기여는 메타적 경고로서, 해석 가능성 주장은 단일 데이터셋의 결과에 의존해서는 안 되며, 여러 데이터셋을 통해 검증되어야 함을 강조한다.

ABSTRACT

We describe an "interpretability illusion" that arises when analyzing the BERT model. Activations of individual neurons in the network may spuriously appear to encode a single, simple concept, when in fact they are encoding something far more complex. The same effect holds for linear combinations of activations. We trace the source of this illusion to geometric properties of BERT's embedding space as well as the fact that common text corpora represent only narrow slices of possible English sentences. We provide a taxonomy of model-learned concepts and discuss methodological implications for interpretability research, especially the importance of testing hypotheses on multiple data sets.

연구 동기 및 목표

• BERT의 최종 레이어에 있는 개별 뉘앙스가 해석 가능하고 인간이 이해할 수 있는 개념을 인코딩하는지 조사하기.
• 일부 뉘앙스가 한 데이터셋에서는 특정 언어 패턴(예: 노래 제목)을 감지하는 것처럼 보이지만 다른 데이터셋에선 그렇지 않은 이유를 분석하기.
• 이 불일치의 근본 원인, 특히 자연어 코퍼스의 데이터셋 분포적 편향과 임베딩 공간의 기하학적 성질을 규명하기.
• 단일 데이터셋의 상위 활성화 문장들에 기반한 해석 가능성 주장의 타당성을 도전하기.
• 다양한 데이터셋에서의 검증을 필수 기준으로 삼아야 한다는 주장 제기하기.

제안 방법

• Quora 질문 쌍(QQP), 위키백과 기반 질의응답, 토론토 북코퍼스의 세 가지 서로 다른 데이터셋에서 BERT의 최종 레이어에 있는 개별 뉘앙스를 조사하여 상위 활성화 문장을 식별했다.
• 코사인 유사도와 유클리드 거리를 사용해 상위 활성화 문장과 무작위 문장 간의 의미적 일관성을 측정하여, 패턴이 국소적인지 또는 전역적인지 평가했다.
• 상위 활성화 문장을 인간이 주관적으로 평가하여, 인식된 패턴이 평가자 간에 일관된지 확인했다.
• 중심에서 거리가 가장 먼 문장들(1% 및 10%)에 의해 가장 자주 활성화되는 뉘앙스를 추적하여, 극단적 활성화가 환영을 일으키는 데 기여하는지 평가했다.
• 개념 방향을 세 가지 범주로 분류했다: 국소적(근접한 문장), 전역적(모든 데이터에서 일관됨), 데이터셋 수준적(특정 데이터 분포에 국한됨).
• 평가자 간 불일치와 편향을 분석하여, 인식된 패턴이 객관적인지 주관적인지 평가했다.

실험 결과

연구 질문

• RQ1 BERT의 최종 레이어에 있는 뉘앙스가 상위 활성화 문장을 통해 분석했을 때 일관되고 해석 가능한 의미적 개념을 인코딩하는가?
• RQ2 왜 상위 활성화 문장에서 보이는 일관된 패턴이 다른 데이터셋에서 테스트할 때 사라지는가?
• RQ3 뉘앙스의 해석 가능성으로 보이는 것이 자연어 코퍼스의 데이터셋 특화된 분포적 편향의 산물일 정도로 어느 정도인가?
• RQ4 BERT의 활성화 공간 기하학적 성질이 해석 가능성 환영에 어떤 기여를 하는가?
• RQ5 인간 평가자가 상위 활성화 문장에서 의미 있는 패턴을 신뢰성 있게 식별할 수 있는가, 아니면 해석이 주관적 편향에 의해 영향을 받는가?

주요 결과

• Quora 질문 쌍 데이터셋에서 '노래 제목'을 인코딩하는 것처럼 보이는 뉘앙스는 위키백과 기반 질의응답 데이터에서 '역사적 사건'이나 '날짜로 시작하는 문장'을 인코딩하는 것으로 나타났다.
• 동일한 뉘앙스(예: 뉘앙스 221)는 서로 다른 데이터셋에서 완전히 다른 의미적 패턴을 활성화한다—예를 들어 QQP에선 '노래 제목', 위키백과에선 '역사적 사건', 북코퍼스에선 '내용적 행동'—이로써 해석이 데이터셋에 따라 달라짐을 입증한다.
• 상위 활성화 문장들은 데이터셋 간 의미적으로 일관되지 않다: 중심에서 가장 먼 1% 문장들이 전체 상위 활성화의 48%를 차지하며, 극단적 이질적 문장들이 가짜 패턴을 이끌고 있음을 시사한다.
• 평가자 간 불일치가 뚜렷하게 나타났으며, 한 평가자가 평균 1.6개의 패턴을 발견한 것으로 나타나, 패턴 탐지에 높은 주관성 존재를 시사한다.
• 가장 먼 1% 또는 10% 문장을 제외한 경우에도 환영이 지속되며, 이는 이질적 문장 때문이 아니라 근본적인 데이터셋 편향 때문임을 시사한다.
• 비록 환영이 존재하지만, BERT의 활성화 공간에는 의미 있는 전역적 개념 방향이 실제로 존재하지만, 데이터셋 특화된 국소적 패턴들에 의해 가려져 있다.