[논문 리뷰] On the Interpretability of Attention Networks

Lakshmi Narayan Pandey, Rahul Vashisht외 1명|arXiv (Cornell University)|2022. 12. 30.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 선택적 의존성 분류(SDC) 작업과 집중-분류 어텐션 모델(FCAM)을 도입하여 어텐션 모델의 해석 가능성에 대한 객관적이고 정량적인 평가를 가능하게 한다. 표준 어텐션 모델이 높은 정확도를 달성할 수 있지만 해석 가능성은 열악할 수 있음을 보여주며, 희소성 유도 방법(예: sparsemax)이 정확도를 희생시키지 않고도 해석 가능성을 크게 향상시킴을 시현한다.

ABSTRACT

Attention mechanisms form a core component of several successful deep learning architectures, and are based on one key idea: ''The output depends only on a small (but unknown) segment of the input.'' In several practical applications like image captioning and language translation, this is mostly true. In trained models with an attention mechanism, the outputs of an intermediate module that encodes the segment of input responsible for the output is often used as a way to peek into the `reasoning` of the network. We make such a notion more precise for a variant of the classification problem that we term selective dependence classification (SDC) when used with attention model architectures. Under such a setting, we demonstrate various error modes where an attention model can be accurate but fail to be interpretable, and show that such models do occur as a result of training. We illustrate various situations that can accentuate and mitigate this behaviour. Finally, we use our objective definition of interpretability for SDC tasks to evaluate a few attention model learning algorithms designed to encourage sparsity and demonstrate that these algorithms help improve interpretability.

연구 동기 및 목표

• 해석 가능성의 정량적이고 공식적인 프레임워크를 정의하여 주관적인 평가를 넘어서는 것.
• 어느 정도의 정확도를 달성하지만 주의 분포가 잘못 정렬되어 있어 해석 가능성이 떨어지는 오류 모드를 특정하고 분석하는 것.
• 특히 희소성 유도를 목표로 하는 다양한 어텐션 학습 알고리즘의 효과를 SDC 작업에서 해석 가능성 향상 측면에서 평가하는 것.
• 해석 가능성과 정확도가 서로 다른 목표임을 입증하고, 높은 정확도가 반드시 높은 해석 가능성과 동치가 아니라는 것을 보여주는 것.
• 제어된 데이터셋(CIFAR-SDC 및 합성 SDC)을 사용하여 어텐션 모델의 해석 가능성에 대한 경험적 기준을 제공하는 것.

제안 방법

• 오직 하나의 입력 세그먼트(‘프론트엔드’)만 출력에 영향을 주는 단순화된 분류 작업인 선택적 의존성 분류(SDC) 문제를 도입한다.
• 집중-분류 어텐션 모델(FCAM)을 제안한다. 이는 두 단계로 구성된 아키텍처로, 집중 네트워크가 어텐션 가중치 α를 계산하고, 분류기가 주목된 입력 세그먼트를 사용한다.
• 해석 가능성은 집중 점수를 통해 정의한다: 진짜 프론트엔드 세그먼트 j*에 대한 어텐션 가중치 α_j*는 높고 지배적이어야 한다.
• 해석 가능성의 정량적 측정을 위해 세 가지 지표를 사용한다: 진짜 비율(FT), 비영 요소 수(NNZ), 어텐션 벡터 α의 엔트로피.
• 희소성 정규화(예: 엔트로피 정규화)를 포함한 손실 함수와, 대안적 활성화 함수(sparsemax, 구면 소프트맥스)를 사용하여 어텐션의 집중을 진짜 세그먼트에 유도한다.
• 통계적 신뢰성을 확보하기 위해 반복 실행을 수행하며, 두 데이터셋(CIFAR-SDC 및 합성 SDC)에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 분류 작업에서 어텐션 모델의 해석 가능성에 대해 정량적이고 객관적인 측정 기준을 정의할 수 있는가?
• RQ2 어떤 조건에서 어텐션 모델은 정확도는 높지만 해석 가능성이 떨어지는가? 이에 대한 근본적인 실패 모드는 무엇인가?
• RQ3 희소성 유도를 목표로 하는 어텐션 학습 알고리즘(예: sparsemax, 엔트로피 정규화)이 정확도를 떨어뜨리지 않고도 해석 가능성을 향상시키는가?
• RQ4 집중 네트워크의 입력으로 원본 입력을 사용할지, 최종 은닉층을 사용할지의 선택이 해석 가능성에 어떤 영향을 미치는가?
• RQ5 하드 어텐션 메커니즘에서 정확도와 해석 가능성 사이에 트레이드오프가 존재하는가?

주요 결과

• 표준 어텐션 모델(예: 순수한 소프트맥스)은 CIFAR-SDC에서 약 95%의 높은 테스트 정확도를 달성하지만, 어텐션으로 진짜 프론트엔드를 올바르게 식별하는 데에는 약 80%에 불과하여 해석 가능성은 열악하다.
• sparsemax와 구면 소프트맥스 활성화 함수는 진짜 비율(FT) 지표를 10个百分点 이상 향상시켜(예: 81.11%에서 91.43%로), 어텐션의 국소화가 훨씬 우수함을 시사한다.
• 엔트로피 정규화 및 기타 희소성 유도 방법은 어텐션 벡터의 엔트로피와 NNZ를 감소시키지만, FT에 유의미한 향상이 없어 해석 가능성 향상에 기여하지 못하는 것으로 나타났다.
• 집중 네트워크의 최종 은닉층을 원본 입력 대신 사용할 경우, 저차원의 합성 데이터에서 FT가 최대 10% 향상되며, 이는 특징 수준의 집약이 해석 가능성 향상에 기여함을 시사한다.
• 하드 어텐션 모델은 높은 해석 가능성(FT ~87.63%)을 달성하지만, 정확도는 상당히 낮아(74.45%) 해석 가능성과 성능 사이에 강한 트레이드오프가 있음을 보여준다.
• 결과는 해석 가능성과 정확도가 분리된 목표임을 확인한다: 높은 정확도를 달성한 모델이 해석 가능성이 낮을 수 있고, 반대로 해석 가능성이 높은 모델이 정확도는 낮을 수 있으며, 이에 따라 해석 가능성 목표를 명시적으로 설정할 필요가 있음을 시사한다.