[논문 리뷰] Shape or Texture: Understanding Discriminative Features in CNNs

Amirul Islam, Matthew Kowal외 5명|arXiv (Cornell University)|2021. 01. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 15

한 줄 요약

이 논문은 상호정보량 추정과 리더아웃 모듈을 사용하여 형상과 질감 정보를 별도로 고려함으로써, 합성곱 신경망(CNNs)이 잠재 표현에서 형상과 질감 정보를 어떻게 인코딩하는지 조사한다. 연구 결과, CNNs는 학습 초반에 대부분의 형상 정보를 빠르게 습득하고, 이를 여러 층에 걸쳐 인코딩하지만, 형상의 의미적 레이블을 정확히 할당하는 것은 오직 최종 층에서만 이루어지며, 형상에 치우친 모델은 질량에 치우친 모델보다 형상 전용 뉴런에 더 의존한다는 것을 밝혀냈다.

ABSTRACT

Contrasting the previous evidence that neurons in the later layers of a Convolutional Neural Network (CNN) respond to complex object shapes, recent studies have shown that CNNs actually exhibit a `texture bias': given an image with both texture and shape cues (e.g., a stylized image), a CNN is biased towards predicting the category corresponding to the texture. However, these previous studies conduct experiments on the final classification output of the network, and fail to robustly evaluate the bias contained (i) in the latent representations, and (ii) on a per-pixel level. In this paper, we design a series of experiments that overcome these issues. We do this with the goal of better understanding what type of shape information contained in the network is discriminative, where shape information is encoded, as well as when the network learns about object shape during training. We show that a network learns the majority of overall shape information at the first few epochs of training and that this information is largely encoded in the last few layers of a CNN. Finally, we show that the encoding of shape does not imply the encoding of localized per-pixel semantic information. The experimental results and findings provide a more accurate understanding of the behaviour of current CNNs, thus helping to inform future design choices.

연구 동기 및 목표

• 분류 출력 외의 잠재 표현에서 CNNs가 형상 정보를 어떻게 인코딩하는지 이해하는 것.
• 학습 과정에서 형상 정보가 언제, 어디서 인코딩되는지, 특히 질량 편향과의 관계에서 조사하는 것.
• CNNs의 형상 인코딩이 전역적 형상 인식을 넘어서 픽셀 수준의 의미적 이해를 지원하는지 확인하는 것.
• 잠재 특징에서 질량에 치우친 모델과 형상에 치우친 모델이 형상 또는 질량 전용 뉴런에 얼마나 의존하는지 평가하는 것.

제안 방법

• 형상과 질량 표현 차원을 정량화하기 위해 스타일화된 PASCAL VOC 이미지와 CNN 특징 맵 간의 상호정보량 추정을 수행하였다.
• 지상 진술 픽셀 수준 레이블을 사용하여 잠재 특징에 대해 이진 및 의미적 세그멘테이션을 수행하는 단일 합성곱층 헤드(리더아웃 모듈)를 훈련시켰다.
• 고정된 ResNet-50 특징에서 형상 또는 질량과 가장 상관도가 높은 상위 X% 뉴런만 유지함으로써 리더아웃 모듈이 형상 또는 질량 전용 뉴런에만 의존하도록 유도하였다.
• 형상에 치우친 모델(Stylized ImageNet에서 훈련된 모델)과 질량에 치우친 모델(ImageNet에서 훈련된 모델)의 리더아웃 모듈 성능을 비교하여 형상 또는 질량 뉴런에 대한 의존도를 평가하였다.
• 특징 맵에서 형상과 질량을 인코딩하는 효과적 차원 수를 파악하기 위해 차원 수 추정을 적용하였다.
• 뉴런 선택 전략 간 성능을 비교하기 위해 이진 세그멘테이션 및 의미적 세그멘테이션의 mIoU 점수를 평가 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 CNN의 잠재 표현에 얼마나 많은 형상 정보가 인코딩되어 있으며, 어느 네트워크 깊이에서 가장 두드러지게 나타나는가?
• RQ2 CNN에서 형상 인코딩이 전역적 형상 인식을 넘어서 픽셀 수준의 의미적 세그멘테이션을 지원하는가, 아니면 제한적으로만 기능하는가?
• RQ3 형상에 치우친 모델(예: Stylized ImageNet에서 훈련된 모델)은 질량에 치우친 모델(예: ImageNet에서 훈련된 모델)보다 형상 전용 뉴런에 더 많이 의존하는가?
• RQ4 학습 과정에서 CNN이 대부분의 형상 정보를 언제 습득하는가?
• RQ5 형상 또는 질량 전용 뉴런만 유지할 경우, 비대상 뉴런을 제거하면 세그멘테이션 성능에 어떤 영향을 미치는가?

주요 결과

• CNNs는 학습의 첫 몇 에포크 내에 전체 형상 정보의 대부분을 습득함으로써, 형상 신호를 빠르게 습득함을 시사한다.
• 형상 정보는 여러 층에 걸쳐 인코딩되지만, 오직 네트워크의 최종 층에서만 객체 픽셀에 의미적 분류 레이블을 정확히 할당한다.
• ImageNet에서 사전 훈련된 모델은 후행 단계 특징에 충분한 형상 및 의미적 정보를 포함하고 있어, 높은 mIoU로 이진 및 의미적 세그멘테이션을 수행할 수 있다.
• 질량 정보를 제거하면 네트워크가 형상 픽셀에 의미적 레이블을 정확히 할당하는 능력이 심각하게 저하되며, 이는 질량이 형상 인식에 방해가 되는 역할을 함을 시사한다.
• 질량에 치우친 모델(ImageNet 사전 훈련)의 경우, 오직 질량 전용 뉴런만 유지할 때 리더아웃 모듈의 성능이 유의미하게 향상되어, 질량에 치우친 모델이 질량에 의존함을 확인한다.
• 형상에 치우친 모델(Stylized ImageNet 사전 훈련)의 경우, 오직 형상 전용 뉴런만 유지할 때 성능이 유의미하게 향상되어, 형상에 치우친 모델가 형상 특징에 더 많이 의존함을 확인한다.