[논문 리뷰] A Game-Theoretic Taxonomy of Visual Concepts in DNNs

Xu Cheng, Chuntung Chu외 3명|arXiv (Cornell University)|2021. 06. 21.

Cell Image Analysis Techniques참고 문헌 33인용 수 7

한 줄 요약

이 논문은 다층 신경망(DNNs) 내 시각적 개념의 게임이론적 분류 체계를 제안하며, 다중 차수의 픽셀 상호작용을 통해 시각적 개념을 복잡도 기반으로 분류한다: 단순(국소적), 중간 복잡도, 복잡(전역적). DNNs는 저차수, 중간차수, 고차수 상호작용를 통해 텍스처를 매우 민첩하게 인코딩하는 반면, 형태 인코딩은 덜 민첩하며, 차수에 관계없이 일관되고 강건한 상호작용 패턴에 의존한다. 고차수 상호작용은 주로 전역적 또는 이방성 특징을 포착한다.

ABSTRACT

In this paper, we rethink how a DNN encodes visual concepts of different complexities from a new perspective, i.e. the game-theoretic multi-order interactions between pixels in an image. Beyond the categorical taxonomy of objects and the cognitive taxonomy of textures and shapes, we provide a new taxonomy of visual concepts, which helps us interpret the encoding of shapes and textures, in terms of concept complexities. In this way, based on multi-order interactions, we find three distinctive signal-processing behaviors of DNNs encoding textures. Besides, we also discover the flexibility for a DNN to encode shapes is lower than the flexibility of encoding textures. Furthermore, we analyze how DNNs encode outlier samples, and explore the impacts of network architectures on interactions. Additionally, we clarify the crucial role of the multi-order interactions in real-world applications. The code will be released when the paper is accepted.

연구 동기 및 목표

• 기존의 물체나 인지 기반 분류 체계를 넘어서 다중 차수 상호작용을 활용한 복잡도 기반 분류 체계를 도입하여 DNN 내 시각적 개념을 재분류하는 것.
• DNN이 다양한 상호작용 차수를 통해 텍스처와 형태를 어떻게 유연하게 인코딩하는지 분석하여 인코딩의 민감도 차이를 규명하는 것.
• 이상치 샘플의 인코딩에 다중 차수 상호작용이 어떻게 기여하는지와 그로 인한 모델 일반화 및 내성에 미치는 영향을 조사하는 것.
• 특히 커널 크기와 레이어 너비와 같은 아키텍처 선택이 다중 차수 상호작용 학습에 어떤 영향을 미치는지 분석하는 것.
• 다중 차수 상호작용이 분류 성능 향상과 적대적 공격 완화에 실용적으로 어떻게 활용될 수 있는지 명확히 하는 것.

제안 방법

• 논문은 게임 이론의 셰플리 값(Shapley values)을 사용하여 입력 픽셀 간의 다중 차수 상호작용을 계산하며, 픽셀 협업이 특징 표현에 기여하는 마진널 기여도를 측정한다.
• 저차수 상호작용(2~3개 픽셀)은 기본 텍스처와 같은 단순한 국소적 시각적 개념을 나타내며, 고차수 상호작용(4개 이상 픽셀)은 하늘, 초원 등 빈번히 나타나는 전역 패턴을 포착한다.
• 이전 연구의 확장된 기법을 활용해 주목할 만한 상호작용 맥락을 시각화함으로써, 특징 활성화에 가장 기여하는 픽셀 조합을 해석 가능하게 한다.
• 커널 크기(2×2, 7×7, 11×11)와 너비(c, 2c, 4c, 8c)를 제어하여 ResNet 변종을 훈련시켜 아키텍처의 영향을 분석한다.
• 상호작용 강도와 분리도를 정량화하여 모델이 일반적인 공유 상호작용을 학습하는지, 아니면 고유한 분류 기반 상호작용을 학습하는지 평가한다.
• 이 방법은 적대적 예외 샘플 분석에 적용되어, 고차수 상호작용의 교란이 적대적 공격에 미치는 영향을 연결한다.

실험 결과

연구 질문

• RQ1 DNN 내 다중 차수 상호작용은 텍스처나 형태와 같은 시각적 개념의 복잡도를 어떻게 반영하는가?
• RQ2 DNN은 다양한 상호작용 차수를 통해 텍스처와 형태를 어떻게 다르게 민감하게 인코딩하는가?
• RQ3 커널 크기와 레이어 너비와 같은 아키텍처 선택이 다중 차수 상호작용 학습에 어떤 영향을 미치는가?
• RQ4 고차수 상호작용은 이미지의 이방성 또는 전역 패턴을 인코딩하는 데 어떤 역할을 하는가?
• RQ5 다중 차수 상호작용은 모델의 내성과 일반화 능력을 향상시키는 데 어떻게 활용될 수 있는가?

주요 결과

• DNNs는 텍스처를 세 가지 방식으로 인코딩한다: 저차수 상호작용은 일반적인 국소적 색상, 중간차수 상호작용은 유사한 텍스처 간의 미세한 차이, 고차수 상호작용은 하늘, 초원과 같이 자주 나타나는 전역 텍스처를 포착한다.
• 텍스처 인코딩은 매우 민감하다—다양한 저차수 국소 패턴의 조합으로도 표현 가능하거나, 적은 수의 중간차수 복잡 패턴으로도 표현 가능하지만, 형태 인코딩은 덜 민감하며, 일관되고 강건한 상호작용 패턴에 의존한다.
• 고차수 상호작용은 주로 특정 크기의 전역 형태나 이방성 샘플을 인코딩하는 데 기여하며, 이는 희귀하거나 복잡한 인스턴스를 기억하는 데 기여함을 시사한다.
• 더 큰 커널 크기와 넓은 레이어를 가진 ResNets는 더 높은 분리도와 낮은 상호작용 강도를 보이며, 이는 덜 일반화되지만 더 분류 기반이고 신뢰할 수 있는 상호작용을 학습함을 의미한다.
• 작은 커널 크기와 좁은 너비에서는 저차수 상호작용에서 특히 두드러지게 더 일반적이고 널리 공유되지만, 분류 능력은 떨어지는 상호작용이 발생한다.
• 고차수 상호작용은 적대적 취약성과 강하게 연관되어 있으며, 적대적 편향은 주로 이 상호작용에 영향을 미치며, 이를 제거하면 내성이 향상된다.