[논문 리뷰] TX-Ray: Quantifying and Explaining Model-Knowledge Transfer in (Un-)Supervised NLP

Nils Rethmeier, Vageesh Saxena외 1명|arXiv (Cornell University)|2019. 12. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 8

한 줄 요약

TX-Ray는 사전학습, 제로샷 추론, 미세조정 단계에서의 뉴런 활성화 선호도를 분석함으로써 NLP 모델 내 지식 전이를 정량화하고 시각화하는 새로운 설명 가능성 방법을 제안한다. 이는 컴퓨터 비전에서의 활성화 최대화 기법을 NLP에 확장하여, 자기지도 학습 모델이 언어적 추상화를 어떻게 구축하고, 감독 학습이 뉴런 선호도를 어떻게 재구성하는지를 세밀하게 추적할 수 있게 하며, 절단 실험을 통해 임무에 부적합한 뉴런을 식별하고 일반화 성능을 향상시킬 수 있음을 검증한다.

ABSTRACT

While state-of-the-art NLP explainability (XAI) methods focus on explaining per-sample decisions in supervised end or probing tasks, this is insufficient to explain and quantify model knowledge transfer during (un-)supervised training. Thus, for TX-Ray, we modify the established computer vision explainability principle of 'visualizing preferred inputs of neurons' to make it usable transfer analysis and NLP. This allows one to analyze, track and quantify how self- or supervised NLP models first build knowledge abstractions in pretraining (1), and then transfer these abstractions to a new domain (2), or adapt them during supervised fine-tuning (3). TX-Ray expresses neurons as feature preference distributions to quantify fine-grained knowledge transfer or adaptation and guide human analysis. We find that, similar to Lottery Ticket based pruning, TX-Ray based pruning can improve test set generalization and that it can reveal how early stages of self-supervision automatically learn linguistic abstractions like parts-of-speech.

연구 동기 및 목표

• 샘플별 결정 설명을 넘어서 비지도 및 지도 학습 중 지식 전이를 설명하고 정량화할 수 있는 방법의 부재를 해결하기 위해.
• 자기지도 학습 모델이 사전학습 과정에서 품사와 같은 언어적 추상화를 어떻게 구축하는지 분석할 수 있도록 하기 위해.
• 재학습 없이도 사전학습된 모델이 새로운 도메인으로의 지식 전이를 제로샷 설정에서 측정하기 위해.
• 미세조정 단계에서의 감독 학습이 뉴런 선호도를 어떻게 재구성하고, 이로 인해 모델의 추상화에 지식이 어떻게 후방 전이되는지 조사하기 위해.
• TX-Ray 측정 기반 절단이 테스트 세트 일반화 성능을 향상시키는지 검증함으로써 방법의 신뢰성 확보를 위해.

제안 방법

• TX-Ray는 뉴런을 토큰이나 품사 태그와 같은 이산 입력에 대한 특징 선호도 분포로 모델링함으로써 컴퓨터 비전에서의 활성화 최대화 기법을 NLP에 적용한다.
• 사전학습된 소스 코퍼스에서의 사전학습, 타겟 도메인에서의 제로샷 추론, 감독 학습을 통한 미세조정의 세 단계에서 활성화 분포를 계산하고 비교한다.
• 뉴런 지식 전이 능력을 활성화 질량 분포의 이동 정도로 정량화하며, 희박화는 전문화를, 넓은 분포는 일반화를 나타낸다.
• 이 방법은 이러한 분포를 기반으로 뉴런 절단을 유도하며, 임무 관련 특징에 대해 낮은 선호도를 보이는 뉴런을 제거함으로써 일반화 성능 향상을 이룬다.
• 이 방법은 정렬된 활성화 질량을 시각화함으로써 뉴런 수준의 세밀한 분석과 모델 전반의 개괄적 시각화를 동시에 가능하게 한다.
• 이 방법은 BERT 스타일 인코더에 적용되었으며, 활성화 패tern과 절단 결과를 통해 IMDB 및 WikiText-2 데이터셋에서 검증되었다.

실험 결과

연구 질문

• RQ1 자기지도 사전학습 과정에서 NLP 모델이 지식 전이를 어떻게 설명하고 정량화할 수 있는가?
• RQ2 재학습 없이 사전학습된 모델이 새로운 도메인에 적용하는 지식의 부분집합은 무엇인가? 즉, 제로샷 설정에서의 지식 전이의 정도는?
• RQ3 감독 레이블에서 유도된 지식 전이가 사전학습된 모델의 내부 추상화로 후방 전이될 수 있는가?
• RQ4 TX-Ray 기반 절단 측정이, 제거했을 때 테스트 세트 일반화 성능을 향상시키거나 악화시키는 뉴런을 식별할 수 있는가?
• RQ5 사전학습 과정의 어느 단계에서 모델이 품사와 같은 언어적 추상화를 학습하기 시작하는가?

주요 결과

• TX-Ray는 사전학습 과정에서 자기지도 학습이 품사 태그와 같은 언어적 추상화를 자동으로 학습함을 드러내며, 뉴런이 학습 초반에 품사 태그에 강한 선호도를 보임을 확인했다.
• 감독 데이터에서의 미세조정 이후, 뉴런 활성화 분포가 현저히 희박해지며(예: 피크 활성화 질량 증가), 하류 작업에 대한 전문화가 이루어짐을 나타냈다.
• TX-Ray의 선호도 분포 기반 절단이 테스트 세트 일반화 성능 향상에 기여함을 통해, 방법이 임무에 부적합한 뉴런을 식별할 수 있음을 검증했다.
• 감독 학습은 치명적인 기억 상실 외에도 이전에 덜 사용되던 뉴런을 활성화시켜, 이전에 선호되지 않았던 특징들에 새로운 지식를 추가함을 보여주었다.
• 사전학습 도메인과 제로샷 추론 도메인 간의 도메인 불일치는, 외부 도메인 데이터에서 더 넓고 약한 활성화 분포로 나타나며, TX-Ray가 이를 감지함을 보였다.
• TX-Ray 시각화 결과는, 미세조정된 모델이 더 높은 피크 활성화 질량과 짧은 尾部를 보이며, 더 집중되고 임무에 특화된 추상화를 달성함을 나타냈다.