[논문 리뷰] Analyzing Effects of Mixed Sample Data Augmentation on Model Interpretability

Soyoun Won, Sung‐Ho Bae외 1명|arXiv (Cornell University)|2023. 03. 26.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 논문은 혼합 샘플 데이터 증강이 딥 네ural 네트워크의 해석 가능성에 미치는 영향을 조사하며, 인간과의 일치도, 모델의 신뢰성, 분리된 개념 탐지라는 세 가지 평가 기준을 제안한다. 성능 향상을 이끌어내지만 CutMix와 SaliencyMix는 해석 가능성에 악영향을 미친다. 따라서 의료 AI와 같은 임무 중심 응용 분야에서는 주의가 필요하다.

ABSTRACT

Mixed sample data augmentation strategies are actively used when training deep neural networks (DNNs). Recent studies suggest that they are effective at various tasks. However, the impact of mixed sample data augmentation on model interpretability has not been widely studied. In this paper, we explore the relationship between model interpretability and mixed sample data augmentation, specifically in terms of feature attribution maps. To this end, we introduce a new metric that allows a comparison of model interpretability while minimizing the impact of occlusion robustness of the model. Experimental results show that several mixed sample data augmentation decreases the interpretability of the model and label mixing during data augmentation plays a significant role in this effect. This new finding suggests it is important to carefully adopt the mixed sample data augmentation method, particularly in applications where attribution map-based interpretability is important.

연구 동기 및 목표

• 혼합 샘플 데이터 증강이 딥 네ural 네트워크의 해석 가능성에 미치는 미사용된 영향을 조사하는 것.
• 다양한 증강 전략을 사용해 훈련된 모델 간 해석 가능성 비교를 위한 메트릭 부족 문제를 해결하는 것.
• 모델 내부의 인간과의 일치도, 신뢰성, 분리된 개념 탐지 기준을 통해 해석 가능성 평가를 수행하는 것.
• 기존의 방법 중심 메트릭을 보완하는, 모델 간 해석 가능성 비교를 위한 정량적 프레임워크 제공.
• 특히 안전이 중요한 도메인에서 성능과 해석 가능성의 균형을 고려한 데이터 증강 전략 선택을 안내하는 것.

제안 방법

• 모델 간 해석 가능성 평가를 위한 새로운 메트릭인 Inter-model deletion 및 Inter-model insertion를 제안하여 다양한 모델 간 비교 가능하게 함.
• 해석 가능성 평가를 세 가지 기준을 통해 수행: (1) 속성 맵에서 인간이 주석 처리한 바운딩 박스와의 일치도, (2) 삭제/삽입 점수를 통한 신뢰성 평가, (3) 탐지 가능한 분리된 객체 개념의 수.
• 비교를 위해 Cutout, Mixup, CutMix, SaliencyMix를 사용해 ImageNet에서 ResNet-50를 훈련.
• 학습된 특징의 분리도를 정량화하기 위해 개념 활성화 이론(CAM)과 객체 검출기 분석을 활용.
• SaliencyMix에서 시각적으로 의미 있는 영역을 우선순위로 선택하기 위해 시각적 중요도 기반 패치 선택 기법 적용.
• 다양한 증강 방법 간 속성 맵의 흐릿함 정도, 국소화 정확도, 개념 탐지기 수를 비교하기 위한 아블레이션 스터디 수행.

실험 결과

연구 질문

• RQ1 혼합 샘플 데이터 증강은 모델의 속성 맵이 인간이 주석 처리한 참값과 얼마나 일치하는가?
• RQ2 데이터 증강은 후행적 설명에서 특징 속성 부여 방법의 신뢰성에 어느 정도 영향을 미치는가?
• RQ3 혼합 샘플 증강은 모델 활성화에서 탐지 가능한 분리된 개념의 수를 줄이는가?
• RQ4 CutMix와 SaliencyMix를 사용할 경우 성능 향상과 해석 가능성 간의 상충 관계가 존재하는가?
• RQ5 다양한 증강 전략에 걸쳐 삭제/삽입 기반 메트릭을 사용해 모델 간 해석 가능성을 정량적으로 측정하고 비교할 수 있는가?

주요 결과

• CutMix와 SaliencyMix로 훈련된 모델는 다른 증강 방법에 비해 속성 맵에서 인간이 주석 처리한 바운딩 박스와의 일치도가 유의미하게 낮다.
• Inter-model deletion 및 insertion 점수는 CutMix 및 SaliencyMix로 훈련된 모델의 속성 맵이 모델의 실제 결정 과정과 덜 일치함을 보여준다.
• SaliencyMix는 최고의 성능(21.26% ImageNet top-1 오차)을 달성했음에도 불구하고, 탐지 가능한 분리된 객체 개념의 수가 가장 적다.
• CutMix와 SaliencyMix는 기준 모델 대비 고유한 객체 검출기 수를 최대 30%까지 감소시켜, 특징의 분리도가 열 劣화됨을 시사한다.
• 모든 세 가지 평가 기준에서 성능 향상이 해석 가능성 향상으로 이어지지 않음을 확인했으며, 혼합 샘플 증강이 유도하는 데이터 분포의 변화가 인간이 인지할 수 있는 명확한 개념을 탐지하는 뉴런의 형성에 악영향을 미친다.