[논문 리뷰] Missingness Bias in Model Debugging

Saachi Jain, Hadi Salman외 5명|arXiv (Cornell University)|2022. 04. 19.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 합성 패턴 마스킹(예: 검게 칠하기)으로 인해 컨volutional 신경망(CNNs)에서 모델 디버깅 과정에 오차가 발생하는 '누락 편향(missingness bias)'을 규명한다. 이는 LIME과 같은 해석 가능성 도구의 신뢰성을 떨어뜨린다. 본 논문은 이미지 토큰을 제거하는 방식으로 자연스럽게 누락을 지원하는 비전 트랜스포머(ViTs)를 제안하여 편향을 감소시키고, 재학습 없이도 더 신뢰할 수 있는 디버깅을 가능하게 한다.

ABSTRACT

Missingness, or the absence of features from an input, is a concept fundamental to many model debugging tools. However, in computer vision, pixels cannot simply be removed from an image. One thus tends to resort to heuristics such as blacking out pixels, which may in turn introduce bias into the debugging process. We study such biases and, in particular, show how transformer-based architectures can enable a more natural implementation of missingness, which side-steps these issues and improves the reliability of model debugging in practice. Our code is available at https://github.com/madrylab/missingness

연구 동기 및 목표

• 컴퓨터 비전에서 히우리스틱 픽셀 마스킹이 모델 디버깅 과정에 어떤 방식으로 편향을 유도하는지 조사하는 것.
• 이러한 누락 근사치가 특히 CNNs에서 모델 행동을 왜곡시켜 신뢰할 수 없는 해석 가능성 결과를 초래한다는 것을 입증하는 것.
• 비전 트랜스포머(ViTs)가 토큰 제거를 통해 더 자연스럽고 편향이 적은 방식의 누락을 가능하게 한다는 것을 보여주는 것.
• 특히 누락 기반 방법을 사용할 경우, 재학습(예: ROAR에서처럼)이 정확한 디버깅을 위해 필수적인지 평가하는 것.
• ViT가 CNN과 달리 원본 모델을 그대로 사용해도 안정적인 예측을 유지함으로써 재학습 없이도 직접 분석이 가능하다는 것을 입증하는 것.

제안 방법

• 저자는 ImageNet 및 CIFAR-10 데이터셋에서 표준 CNNs(예: ResNet-50)와 비전 트랜스포머(ViT-S)의 모델 행동을 누락 조건 하에서 비교한다.
• CNN의 경우 이미지 패치를 검게 칠함으로써, ViT의 경우 해당하는 ViT 토큰을 제거함으로써 누락을 구현한다. 이는 기능 제거를 시뮬레이션한다.
• LIME를 사용하여 디버깅 신뢰도를 평가하고, 마스킹 전후 예측 간의 Jaccard 유사도를 측정하여 설명 일관성 정도를 분석한다.
• ROAR와 마찬가지로 학습 중에 누락을 포함한 재학습을 수행하여 이로 인한 편향 완화 여부를 평가하고, 재학습된 모델과 원본 모델을 비교한다.
• 예측 일관성, 클래스 분포 이동, 샐리언시 맵 품질을 사용하여 편향과 모델 신뢰도를 정량화한다.
• 다양한 데이터셋(ImageNet, CIFAR-10, MS-COCO)과 다양한 마스킹 임계값 및 패치 크기 조건 하에서 모델 행동을 분석한다.

실험 결과

연구 질문

• RQ1 히우리스틱 픽셀 마스킹 근사치가 특히 CNNs에서 모델 디버깅에 어떤 방식으로 편향을 유도하는가?
• RQ2 누락 편향이 LIME와 같은 기능 할당 방법의 신뢰성에 어느 정도 영향을 미치는가?
• RQ3 비전 트랜스포머(ViTs)가 토큰 제거를 통해 자연스럽고 더 적은 편향을 가진 누락을 지원할 수 있는가?
• RQ4 ROAR와 같이 학습 중에 누락을 포함한 재학습이 편향을 완전히 제거할 수 있으며, 이는 ViTs에게도 필수적인가?
• RQ5 CNN과 달리 원본 ViT 모델을 재학습 없이 안전하게 디버깅에 사용할 수 있는가?

주요 결과

• CNN에서의 픽셀 마스킹은 심각한 누락 편향을 유발하여 일관성 없고 신뢰할 수 없는 LIME 설명을 초래하며, 이는 랜덤 노이즈와 구별되지 않는다.
• MS-COCO 이미지에서 사람을 마스킹한 후에도 ViT-S 모델은 비인간 객체 클래스에 대해 예측 일관성을 유지하지만, ResNet-50는 예측이 크게 이동하는 것으로 나타났다.
• CIFAR-10에서 ViT-S는 패치를 제거함에 따라 예측을 유지하는 이미지 비율이 ResNet-50보다 훨씬 높게 유지된다.
• CNN의 경우 누락 편향을 완화하기 위해 재학습이 필요하지만, ViT의 경우 표준 모델과 재학습된 모델 간의 행동이 거의 동일하여 재학습이 불필요하다.
• ViT의 토큰 기반 아키텍처는 더 자연스럽고 편향이 적은 방식의 누락을 가능하게 하여, 서rogate 재학습 없이도 원본 모델을 직접 분석할 수 있게 한다.
• 누락 편향은 모델이 남은 이미지 특징을 제대로 활용하지 못하게 하고, 특히 CNN에서 출력 분포를 관련 없는 클래스 쪽으로 기울인다.