[논문 리뷰] ECLAD : Extracting Concepts with Local Aggregated Descriptors

Andrés Felipe Posada-Moreno, Nikita Surya외 1명|arXiv (Cornell University)|2022. 01. 01.

Explainable Artificial Intelligence (XAI)인용 수 2

한 줄 요약

ECLAD는 다중 레이어에서의 히트맵을 통합하여 국소적 융합 기술(Local Aggregated Descriptors, LADs)을 사용해 CNN 내 시각적 개념을 추출하고 국소화하는 새로운 개념 추출 방법이다. 이는 새로운 이미지에서 개념의 정밀한 국소화를 가능하게 하며, 픽셀 수준의 애너테이션을 가진 합성 데이터셋을 활용한 정량적 검증 프레임워크를 도입하여, 개념의 정확성과 중요도 평가에서 최신 기술들을 능가한다.

ABSTRACT

Convolutional neural networks (CNNs) are increasingly being used in critical systems, where robustness and alignment are crucial. In this context, the field of explainable artificial intelligence has proposed the generation of high-level explanations of the prediction process of CNNs through concept extraction. While these methods can detect whether or not a concept is present in an image, they are unable to determine its location. What is more, a fair comparison of such approaches is difficult due to a lack of proper validation procedures. To address these issues, we propose a novel method for automatic concept extraction and localization based on representations obtained through pixel-wise aggregations of CNN activation maps. Further, we introduce a process for the validation of concept-extraction techniques based on synthetic datasets with pixel-wise annotations of their main components, reducing the need for human intervention. Extensive experimentation on both synthetic and real-world datasets demonstrates that our method outperforms state-of-the-art alternatives.

연구 동기 및 목표

• 기존의 개념 추출(CE) 방법들이 개념이 존재하는지 여부는 감지할 수 있지만, 이미지 내에서 그 개념이 어디에 위치해 있는지 국소화하지 못하는 문제를 해결하기 위해.
• 사람의 주관적 판단에 의존하지 않고, 픽셀 수준의 애너테이션이 있는 합성 데이터셋을 활용한 정량적이고 자동화된 검증 절차를 도입하여 CE 방법 평가의 주관성과 일관성 부족 문제를 해결하기 위해.
• 의료 진단 및 산업 품질 관리와 같은 중요한 응용 분야에서 CNN 설명의 신뢰성과 해석 가능성 향상을 위해.
• 다양한 CE 기법 간 비교를 위한 확장 가능하고 객관적인 벤치마크를 제공하여 인간의 시각적 검토에 의존하는 것을 줄이기 위해.
• 학습된 특징의 전반적 이해와 개별 예측의 국소적 설명을 통합한 중요도 스코어링과 공간적 국소화를 동시에 가능하게 하기 위해.

제안 방법

• 학습된 CNN의 다수의 중간 레이어에서 추출한 특징 맵을 통합하여 국소적 융합 기술(LADs)을 추출함으로써, 픽셀 수준의 활성화의 다중 척도 공간 표현을 캡처하기 위해.
• 전체 훈련 데이터셋의 LADs를 대상으로 클러스터링(예: k-means)을 적용하여 학습된 시각적 개념에 해당하는 고유한 패턴을 탐색하기 위해.
• 추론 과정에서 테스트 이미지의 LADs와 클러스터 중심점 간의 유사도 맵을 계산한 후 마스킹을 통해 관련 영역을 강조하여 개념을 국소화하기 위해.
• 국소화된 영역 내에서 픽셀 수준의 민감도(예: 기울기)를 통합하여 개념 중요도 스코어를 계산함으로써 국소적 설명과 전반적 설명을 연결하기 위해.
• 지식 기반의 픽셀 수준 애너테이션이 있는 합성 데이터셋 생성 파이프라인을 활용하여, 객관적인 평가가 가능한 제어된 데이터를 생성하기 위해.
• 지식 기반 애너테이션을 바탕으로 개념 표현 정확도와 개념 중요도 정확도라는 두 가지 새로운 지표를 도입하여 CE 성능을 정량적으로 평가하기 위해.

실험 결과

연구 질문

• RQ1 개념 추출 방법이 CNN 예측에서 정확한 개념 감지와 정밀한 공간적 국소화를 동시에 달성할 수 있는가?
• RQ2 주관적인 인간 평가에 의존하지 않고, 어떻게 개념 추출 기술의 성능을 객관적으로 평가할 수 있는가?
• RQ3 알려진 애너테이션을 가진 합성 데이터셋에서 다양한 CE 방법이 지식 기반의 시각적 개념과 어느 정도 일치하는가?
• RQ4 네트워크 레이어의 선택과 융합 전략의 선택이 추출된 개념의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 일致하고 확장 가능한 지표를 사용하여 다양한 CE 방법을 공정하게 비교할 수 있는 통합된 검증 프레임워크를 구축할 수 있는가?

주요 결과

• ECLAD는 모든 6개의 합성 데이터셋에서 최신 기술(ACE 및 ConceptShap)을 능가하여 개념 표현 정확도에서 뛰어난 성능을 보였으며, 정확한 시각적 단서를 식별하는 데 높은 정확도를 유지했다.
• ECLAD가 생성한 중요도 스코어는 지식 기반의 의도된 관련성과 잘 일치하여, 개념적으로 관련된 특징에는 높은 스코어를, 관련이 없는 특징에는 낮은 스코어를 할당함으로써 지식 기반 검증을 통한 타당성을 입증했다.
• ECLAD는 합성 및 실제 세계 데이터셋 모두에서 긁힘, 핀홀, 변형된 가장자리 등의 개념에 해당하는 영역을 정밀하게 식별하는 데 뛰어난 국소화 성능을 보였다.
• 합성 데이터셋과 정량적 지표를 활용한 제안된 검증 프레임워크는 CE 방법의 신뢰성 있고 반복 가능하며 확장 가능한 벤치마크를 가능하게 하여 주관적인 인간 평가에 의존하는 것을 줄였다.
• ECLAD는 클래스 수에 따라 선형적으로 확장되며, 복잡한 다중 개념 데이터셋에서도 높은 성능을 유지하여 강건성과 일반화 능력을 입증했다.
• 절단 실험 결과, 다수의 레이어를 사용하고 적절한 보간 방법을 적용할 경우 개념 품질 향상과 홀로 효과 감소가 이루어지며, 굵은 보간 방법은 경계에 영향을 미치지만 개념의 무결성에는 영향을 주지 않았다.