[논문 리뷰] CRAFT: Concept Recursive Activation FacTorization for Explainability

Thomas Fel, Agustin Martin Picard외 6명|arXiv (Cornell University)|2022. 11. 17.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

CRAFT는 비음수 행렬 분해(NMF)를 통한 순환적 개념 분해, 신뢰도 있는 개념 중요도 추정을 위한 Sobol 지수, 그리고 개념 기반 설명을 위한 은닉 미분을 활용하여 딥러닝 모델이 '무엇'을 보고 있는지와 '어디서' 보고 있는지를 동시에 특정하는 새로운 개념 기반 설명 방법을 제안한다. 이 방법은 기존의 설명 및 개념 기반 방법에 비해 인간의 이해 가능성과 모델의 정확성 모두를 크게 향상시킨다.

ABSTRACT

Attribution methods, which employ heatmaps to identify the most influential regions of an image that impact model decisions, have gained widespread popularity as a type of explainability method. However, recent research has exposed the limited practical value of these methods, attributed in part to their narrow focus on the most prominent regions of an image -- revealing "where" the model looks, but failing to elucidate "what" the model sees in those areas. In this work, we try to fill in this gap with CRAFT -- a novel approach to identify both "what" and "where" by generating concept-based explanations. We introduce 3 new ingredients to the automatic concept extraction literature: (i) a recursive strategy to detect and decompose concepts across layers, (ii) a novel method for a more faithful estimation of concept importance using Sobol indices, and (iii) the use of implicit differentiation to unlock Concept Attribution Maps. We conduct both human and computer vision experiments to demonstrate the benefits of the proposed approach. We show that the proposed concept importance estimation technique is more faithful to the model than previous methods. When evaluating the usefulness of the method for human experimenters on a human-centered utility benchmark, we find that our approach significantly improves on two of the three test scenarios. Our code is freely available at github.com/deel-ai/Craft.

연구 동기 및 목표

• 해당 방법이 '어디서' 모델이 집중하는지만 보여주고 '무엇'을 보고 있는지는 보여주지 않는 기존의 설명 방법의 한계를 해결하기 위해.
• 사람이 레이블링한 개념이나 사전 지식 없이도 개념 자동 탐색을 가능하게 하기 위해.
• 모델 설명의 정확성과 인간의 이해 가능성 향상을 위해.
• 전반적인 개념 중요도와 국소적 설명 맵 간의 통합된 프레임워크를 구축하기 위해.
• 사람 중심 및 컴퓨터 비전 벤치마크를 통해 방법의 효과성을 검증하기 위해.

제안 방법

• CRAFT는 다수의 네트워크 레이어에서 특징 맵에 대해 비음수 행렬 분해(NMF)를 적용하여 해석 가능하고 분리된 개념을 추출한다.
• 계층적인 개념 탐색을 가능하게 하기 위해 레이어별로 순차적으로 개념을 분해하는 순환 전략을 적용한다.
• 각 개념의 전반적 중요도를 추정하기 위해 Sobol 지수를 사용하며, 이는 TCAV와 같은 이전 방법보다 더 높은 정확도를 확보한다.
• NMF에서 유도된 개념 값에 대해 역전파를 수행하기 위해 은닉 미분을 활용하여 기울기 기반의 개념 기반 설명 맵(개념 CAM)을 생성한다.
• NMF 계수를 최대화하는 이미지 조각을 시각화하여 개념을 해석함으로써 인간의 이해 가능성 향상을 도모한다.
• 삽입/삭제 곡선 및 개념 유용성과 침입자 탐지에 대한 인간 실험을 통해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 사람이 레이블링한 데이터 없이도 자기학습 방식의 순환적 방법이 깊이 있는 네트워크 레이어 전반에 걸쳐 의미 있는 해석 가능한 개념을 추출할 수 있는가?
• RQ2 Sobol 지수를 사용한 개념 중요도 추정이 TCAV나 다른 기준 대비 더 정확한가?
• RQ3 은닉 미분을 통해 생성된 개념 기반 설명 맵이 기존의 픽셀 수준의 설명 맵보다 모델 결정을 더 잘 설명할 수 있는가?
• RQ4 CRAFT는 '침입자' 식별이나 하위 개념 간 구분과 같은 개념 기반 추론 작업에서 인간의 성능을 향상시키는가?
• RQ5 모델의 무작위화에 대해 안정성을 보이며, 모델이 학습한 특징을 포착하고 있는지 여부를 확인하는가?

주요 결과

• CRAFT의 Sobol 기반 개념 중요도 추정은 삽입 및 삭제 메트릭 모두에서 TCAV를 능가하여 모델 행동에 대한 더 높은 정확도를 보였다.
• 인간 중심의 유용성 벤치마크에서 인간 실험 결과, 세 가지 시나리오 중 두 개에서 성능 향상이 유의미하게 관찰되었으며, 특히 개념 기반 추론 작업에서 두드러진 성과를 보였다.
• 이 방법은 ImageNet 예측에서 '먼지', '스키 팬츠', '체인사의 엔진', '나무 줄기'와 같은 의미적으로 유의미한 개념을 성공적으로 추출하였다.
• 무작위 초기화된 모델에 대해 개념적으로 비일관된 결과를 도출함으로써, CRAFT가 학습된 표현을 포착하고 있음을 확인하는 사전 검증을 통과하였다.
• 은닉 미분을 통해 생성된 개념 기반 설명 맵은 모델의 주의가 '삽동' 이미지에서 '먼지'와 같은 특정이고 해석 가능한 시각적 특징으로 정확히 집중되어 있음을 명확히 보여주었다.
• 순환적 분해 전략을 통해 네트워크 깊이 전반에 걸쳐 고수준 및 저수준 개념을 동시에 탐지할 수 있었으며, 계층적 이해도 향상에 기여하였다.