[논문 리뷰] Scale Alone Does not Improve Mechanistic Interpretability in Vision Models

R. Zimmermann, Thomas Klein외 1명|arXiv (Cornell University)|2023. 07. 11.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 연구는 데이터셋 및 아키텍처 크기를 늘릴 경우 시각 모델의 기계적 해석 가능성(기계적 이해 가능성)이 향상되는지 여부를 인간 참가자들을 대상으로 한 대규모 심리물리 실험을 통해 조사한다. 연구 결과, 규모 증가로 인한 해석 가능성 향상은 없음을 확인했으며, 현대 모델은 2014년의 GoogLeNet과 동일한 수준의 이해 난이도를 보이며, 성능 향상에도 불구하고 해석 가능성 측면에서 오히려 후퇴한 것으로 나타났다. 이는 모델의 해석 가능성 설계와 자동 평가 지표의 필요성을 제기한다.

ABSTRACT

In light of the recent widespread adoption of AI systems, understanding the internal information processing of neural networks has become increasingly critical. Most recently, machine vision has seen remarkable progress by scaling neural networks to unprecedented levels in dataset and model size. We here ask whether this extraordinary increase in scale also positively impacts the field of mechanistic interpretability. In other words, has our understanding of the inner workings of scaled neural networks improved as well? We use a psychophysical paradigm to quantify one form of mechanistic interpretability for a diverse suite of nine models and find no scaling effect for interpretability - neither for model nor dataset size. Specifically, none of the investigated state-of-the-art models are easier to interpret than the GoogLeNet model from almost a decade ago. Latest-generation vision models appear even less interpretable than older architectures, hinting at a regression rather than improvement, with modern models sacrificing interpretability for accuracy. These results highlight the need for models explicitly designed to be mechanistically interpretable and the need for more helpful interpretability methods to increase our understanding of networks at an atomic level. We release a dataset containing more than 130'000 human responses from our psychophysical evaluation of 767 units across nine models. This dataset facilitates research on automated instead of human-based interpretability evaluations, which can ultimately be leveraged to directly optimize the mechanistic interpretability of models.

연구 동기 및 목표

• 모델의 데이터셋 및 아키텍처 크기를 늘릴 경우 기계적 해석 가능성에 향상이 있는지 평가하기.
• 최근의 대규모 시각 모델(예: ViT, ConvNeXt)이 이전 아키텍처(예: GoogLeNet)보다 더 해석하기 쉬운지 조사하기.
• 다양한 모델들에 대해 표준 해석 방법 두 가지—자연적 예시와 특징 시각화—의 효과를 평가하기.
• 자동 해석 가능성 평가 및 모델 최적화를 지원하기 위해 인간이 애너테이션한 대규모 해석 반응 데이터셋을 공개하기.
• 모델 규모가 자동으로 해석 가능성 향상에 기여한다는 가정을 도전하고, 해석 가능성에 대한 명시적 설계 필요성을 주장하기.

제안 방법

• 9개의 최신 시각 모델에서 767개의 유닛을 대상으로 총 120,000건의 인간 반응을 확보한 대규모 심리물리 실험을 수행했다.
• 표준 해석 방법 두 가지를 사용: ImageNet에서 고활성화 이미지(자연적 예시) 식별 및 기울기 상승을 통한 특징 시각화 생성.
• Amazon Mechanical Turk의 제어된 HIT 기반 인터페이스를 활용해 참가자들이 단위가 반응하는 특징을 식별할 수 있었는지에 대한 인간 평가를 수집했다.
• 모델 유형, 깊이, 규모(예: ViT 대비 CNNs, ResNet 대비 ConvNeXt)에 따라 모델 간 해석 가능성 점수를 비교 평가했다.
• 활성화 희박성과 해석 가능성 간 상관관계 분석을 위해 피어슨 상관계수를 사용해 예측 관계가 존재하는지 테스트했다.
• 향후 자동 해석 가능성 평가 및 모델 최적화를 지원하기 위해 전체 데이터셋(ImageNet Mechanistic Interpretability)을 공개했다.

실험 결과

연구 질문

• RQ1 모델 또는 데이터셋 규모를 증가시킬 경우 시각 모델의 기계적 해석 가능성은 향상되는가?
• RQ2 최근의 시각 모델(ViT, ConvNeXt 등)은 이전 모델(GoogLeNet 등)보다 더 해석하기 쉬운가?
• RQ3 표준 해석 방법(자연적 예시 및 특징 시각화)이 더 큰 모델에서 더 높은 해석 가능성 결과를 낳는가?
• RQ4 활성화 희박성과 인간이 인식하는 모델 유닛의 해석 가능성 간 상관관계는 있는가?
• RQ5 인간 애너테이션된 데이터셋을 활용해 향후 모델 개발을 위한 자동 해석 가능성 평가 지표를 학습시킬 수 있는가?

주요 결과

• 규모 증가에 따른 유의미한 효과는 발견되지 않았다: 9개의 현대 모델 중 어느 것도 약 10년 전의 GoogLeNet보다 더 해석하기 쉬운 것은 아니었다.
• ViT 및 ConvNeXt와 같은 현대 모델은 ResNet-50 및 GoogLeNet과 같은 이전의 CNN 모델보다 낮은 해석 가능성 점수를 보였다.
• 활성화 희박성과 해석 가능성 간 상관계수는 약한 편이었고 유의미하지 않았다(r = 0.10, p = 0.39), 이는 희박성이 해석 가능성 예측에 도움이 되지 않는다는 것을 시사한다.
• 다양한 아키텍처와 규모를 가진 모델 간 해석 가능성에 유의미한 차이가 없었으며, 이는 규모 증가가 해석 가능성 향상에 기여한다는 가정을 도전한다.
• 120,000건이 넘는 인간 애너테이션 반응을 포함한 데이터셋이 공개되어 향후 자동 해석 가능성 평가 방법 개발을 지원한다.
• 결과적으로 규모 증가에 따라 해석 가능성에 후퇴가 있었음을 시사하며, 이는 현대 모델이 정확도 향상을 위해 해석 가능성의 손실를 감수할 수 있음을 시사하며, 해석 가능성에 대한 명시적 설계가 필요하다.