[논문 리뷰] Saliency Learning: Teaching the Model Where to Pay Attention

Reza Ghaeini, Xiaoli Z. Fern외 2명|arXiv (Cornell University)|2019. 02. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 20인용 수 12

한 줄 요약

이 논문은 기울기 기반의 색소성 정규화를 통해 정답 설명 주석을 손실 함수에 통합함으로써, 깊이 신경망이 관련 입력 특징에 주의를 기울이도록 훈련하는 색소성 학습(saliency learning)을 제안한다. 이 방법은 모델의 주의를 원하는 증거와 일치시켜 모델의 신뢰성과 성능을 향상시키며, 표준 훈련에 비해 F1 점수, 정확도 및 색소성 일치도가 향상된다.

ABSTRACT

Deep learning has emerged as a compelling solution to many NLP tasks with remarkable performances. However, due to their opacity, such models are hard to interpret and trust. Recent work on explaining deep models has introduced approaches to provide insights toward the model's behaviour and predictions, which are helpful for assessing the reliability of the model's predictions. However, such methods do not improve the model's reliability. In this paper, we aim to teach the model to make the right prediction for the right reason by providing explanation training and ensuring the alignment of the model's explanation with the ground truth explanation. Our experimental results on multiple tasks and datasets demonstrate the effectiveness of the proposed method, which produces more reliable predictions while delivering better results compared to traditionally trained models.

연구 동기 및 목표

• 데이터 내 임의의 통계적 편향에 의존하는 딥 러닝 모델의 문제를 해결하기 위해.
• 예측이 올바른 이유로 이루어지도록 보장함으로써 모델의 해석 가능성과 신뢰성을 향상시키기 위해.
• 모델 주의(색소성)를 정답 설명 주석과 일치시키는 훈련 방법을 개발하기 위해.
• 색소성 훈련된 모델이 중요한 주석 처리된 입력 부분에서의 변형에 더 민감한지 확인하기 위해.
• 색소성 학습이 여러 NLP 작업과 데이터셋에서 효과적인지 입증하기 위해.

제안 방법

• 손실 함수에 허프 기반 정규화를 도입하여 예측된 색소성과 정답 설명 마스크 간의 불일치를 페널티 처리하는 색소성 정규화 항을 도입한다.
• 색소성은 각 단어에 대해 입력 임bedding에 대한 모델 출력의 기울기로 계산되며, 모든 임베딩 차원에 걸쳐 집계된다.
• 각 단어에 대해, 정답 설명 마스크 Z[i] = 1이면 모델이 양의 기울기 기여를 하도록 유도하고, 그렇지 않으면 기울기가 양수일 경우 페널티를 부과한다.
• 정규화 항은 λ × Σ max(0, -Z[i] × Σ_j ∂f_θ(X,y)/∂X_{i,j}) 로 정의되며, 이는 모든 단어 i에 대해 적용되며, λ는 정규화 강도를 제어한다.
• 이 방법은 입력 레이어 뿐 아니라 깊이 신경망의 중간 레이어에도 기울기 기반 색소성 정규화를 적용하여 일치도와 성능을 향상시킨다.
• 모델이 텍스트의 의미적으로 관련 있는 부분에 주의를 기울이도록 시뮬레이션된 설명(예: 사건의 트리거어)을 사용한다.

실험 결과

연구 질문

• RQ1 훈련 과정에 설명 주석을 통합함으로써 모델의 신뢰성과 성능을 향상시킬 수 있는가?
• RQ2 색소성 학습은 모델 주의와 원하는 설명 신호 간의 일치도를 향상시키는가?
• RQ3 색소성 훈련된 모델은 양성 예제에서 중요한 주석 처리된 단어를 제거했을 때 더 민감한가?
• RQ4 F1 점수, 정확도 및 색소성 정확도 측면에서 색소성 학습은 표준 훈련에 비해 어떻게 비교되는가?
• RQ5 입력 레이어 뿐 아니라 중간 레이어에도 색소성 정규화를 확장하면 입력 전용 정규화에 비해 성능 향상이 이루어지는가?

주요 결과

• 색소성 훈련된 모델은 ACE, ERE, CBT-NE, CBT-CN 데이터셋에서 기준 모델에 비해 유의미하게 높은 F1 점수와 정확도를 달성했다.
• ACE 데이터셋에서 기여 단어를 제거한 후 색소성 훈련된 모델은 진성 양성률(TPR)이 32.6% 감소했으며, 이는 표준 훈련 모델 대비 40.9% 감소한 것과 비교하여 중요한 입력 부분에 더 민감함을 확인했다.
• 시각화를 통해 표본 3의 상위 색소성 단어를 분석한 결과, 색소성 훈련된 모델는 정답 설명과 뛰어난 색소성 일치도를 보였다.
• 모든 평가된 데이터셋에서 정밀도, F1, 정확도가 향상되었으며, 특히 CBT-NE와 CBT-CN에서 가장 두드러진 성과 향상이 관찰되었다.
• 검증 실험을 통해 색소성 훈련된 모델가 주석 처리된 기여 단어에 대한 변형에 더 민감함을 확인하여 원하는 주의 메커니즘과의 강한 일치도를 보였다.
• 이 방법은 표준 훈련 및 이전의 기울기 기반 정규화 방법보다 더 나은 성능을 보였으며, 무관한 또는 부정적인 주석이 아닌 긍정적 증거에 집중함으로써 성능 향상을 이룩했다.