[논문 리뷰] ferret: a Framework for Benchmarking Explainers on Transformers

Giuseppe Attanasio, Eliana Pastor외 2명|arXiv (Cornell University)|2022. 08. 02.

Topic Modeling인용 수 8

한 줄 요약

ferret는 Hugging Face의 transformers 라이브러리와 통합되어 트랜스포머 기반 NLP 모델에 대한 후행 해석 가능성 방법을 벤치마킹하고 비교하는 것을 단순화하는 파이썬 프레임워크입니다. 사용자는 네 가지 최신 기술 기반 방법을 통해 예측을 해석하고, 여섯 가지 신뢰성 및 타당성 메트릭을 통해 설명을 평가하며, 표준화된 해석 가능성 데이터셋을 통해 테스트할 수 있으며, 감성 분석 및 혐오 발언 탐지 작업에서 SHAP가 가장 일관된 해석자로 떠올랐습니다.

ABSTRACT

As Transformers are increasingly relied upon to solve complex NLP problems, there is an increased need for their decisions to be humanly interpretable. While several explainable AI (XAI) techniques for interpreting the outputs of transformer-based models have been proposed, there is still a lack of easy access to using and comparing them. We introduce ferret, a Python library to simplify the use and comparisons of XAI methods on transformer-based classifiers. With ferret, users can visualize and compare transformers-based models output explanations using state-of-the-art XAI methods on any free-text or existing XAI corpora. Moreover, users can also evaluate ad-hoc XAI metrics to select the most faithful and plausible explanations. To align with the recently consolidated process of sharing and using transformers-based models from Hugging Face, ferret interfaces directly with its Python library. In this paper, we showcase ferret to benchmark XAI methods used on transformers for sentiment analysis and hate speech detection. We show how specific methods provide consistently better explanations and are preferable in the context of transformer models.

연구 동기 및 목표

• 트랜스포머 기반 NLP 모델에 대한 해석 가능성 방법을 비교하기 위한 표준화되고 상호 운용 가능한 도구의 부족을 해결하기 위해.
• 모든 Hugging Face 호스팅 트랜스포머 모델에 대해 후행 해석 기법을 적용하고 평가할 수 있는 통합적이고 접근 가능한 인터페이스를 제공하기 위해.
• 여러 데이터셋과 작업에서 신뢰성 및 타당성 메트릭을 사용한 설명 평가를 지원하기 위해.
• 해석자, 평가자, 데이터셋에 대한 모듈화되고 추상화된 API를 통해 커뮤니티 기여를 촉진하기 위해.
• 감성 분석 및 혐오 발언 탐지와 같은 실세계 NLP 응용 프로그램에서 XAI 방법의 비교를 간소화하기 위해.

제안 방법

• ferret는 네 가지 최신 기술 기반 후행 해석 방법(기울기, 통합 기울기, LIME, SHAP)을 적용하기 위한 통합 API를 제공합니다.
• Hugging Face의 transformers 라이브러리와 네이티브로 통합되어 표준 모델 이름을 사용해 직접 모델을 로드하고 해석할 수 있습니다.
• 신뢰성(예: 종합성, 충분성, 하나 제거 테스트) 및 타당성(예: 교차점-합집합 비율, 정밀도-재현율 곡선 아래 면적) 기반의 여섯 가지 평가 메트릭을 지원합니다.
• 네 가지 벤치마크 데이터셋에 액세스할 수 있습니다: HateXplain(혐오 발언), MovieReviews와 SST(감성 분석), Thermostat(일반 텍스트).
• 새로운 해석자, 메트릭, 데이터셋을 위한 확장성을 제공하기 위해 추상 기반 클래스(예: BaseExplainer, BaseEvaluator)를 노출합니다.
• 단일 파이프라인 내에서 모델 로딩, 설명 생성, 표준화된 메트릭을 사용한 평가까지의 엔드 투 엔드 워크플로우를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 텍스트 분류 모델에 대해 어떤 XAI 방법이 가장 높은 신뢰성과 타당성을 가진 설명을 생성합니까?
• RQ2 다양한 설명 방법은 여러 데이터셋과 NLP 작업에서 일관되게 어떻게 성능을 발휘합니까?
• RQ3 통합된 프레임워크는 NLP 분야에서 XAI 평가의 비교 가능성과 재현 가능성 향상에 얼마나 기여합니까?
• RQ4 표준화된 평가 세트는 정성적 검토만으로는 드러나지 않는 설명 품질의 차이를 탐지할 수 있습니까?
• RQ5 Hugging Face 생태계 통합은 NLP 분야의 XAI 도구에 대한 접근성과 상호 운용성에 어떻게 기여합니까?

주요 결과

• SHAP는 단일 샘플 및 다중 샘플 설명 시나리오 모두에서 다른 XAI 방법보다 뛰어난 신뢰성 성능을 보였습니다.
• 프레임워크는 여섯 가지 메트릭을 기반으로 한 자동화되고 표준화된 설명 평가를 성공적으로 구현했습니다. 이 메트릭들은 모두 신뢰성 및 타당성 원칙에 기반합니다.
• ferret는 HateXplain 및 SST와 같은 벤치마크 데이터셋에서의 통합 평가를 통해 다양한 방법 간의 설명 품질 비교를 신뢰성 있게 가능하게 했습니다.
• 라이브러리의 모듈화된 설계 덕분에 추상 기반 클래스를 통해 새로운 해석자, 평가 메트릭, 데이터셋을 간편하게 확장할 수 있습니다.
• Hugging Face의 transformers 라이브러리와의 통합 덕분에 복잡한 설정이나 모델 변환 없이도 사전 훈련된 모델을 즉시 사용할 수 있습니다.
• 감성 분석 및 혐오 발언 탐지 사례 연구를 통해 SHAP는 다양한 입력 유형에서 가장 안정적이고 해석 가능한 설명을 제공함을 확인했습니다.