[논문 리뷰] Dead Pixel Test Using Effective Receptive Field

Bum Jun Kim, Hyeyeon Choi외 4명|arXiv (Cornell University)|2021. 08. 31.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 합성곱 신경망(CNN)에서의 효과적 수신 영역(ERF)을 조사하며, 이론적으로 큰 수신 영역이 성능 향상 보장하지 않음을 밝혀낸다. 홀수 크기의 커널과 스트라이드 2로 인한 아키텍처의 불균형으로 인해 출력에 기여가 미미한 '사라진 픽셀'(spatial locations with minimal contribution to output)이 발생하며, 이를 줄이기 위해 커널 패딩을 제안한다. 주요 발견은 이러한 불균형이 일반 분류 성능 향상에 기여하지만, 소규모 이미지 변형을 탐지하는 데는 방해가 된다는 점이며, 따라서 커널 패딩은 미세한 감도가 요구되는 작업에 매우 중요하다.

ABSTRACT

Deep neural networks have been used in various fields, but their internal behavior is not well known. In this study, we discuss two counterintuitive behaviors of convolutional neural networks (CNNs). First, we evaluated the size of the receptive field. Previous studies have attempted to increase or control the size of the receptive field. However, we observed that the size of the receptive field does not describe the classification accuracy. The size of the receptive field would be inappropriate for representing superiority in performance because it reflects only depth or kernel size and does not reflect other factors such as width or cardinality. Second, using the effective receptive field, we examined the pixels contributing to the output. Intuitively, each pixel is expected to equally contribute to the final output. However, we found that there exist pixels in a partially dead state with little contribution to the output. We reveal that the reason for this lies in the architecture of CNN and discuss solutions to reduce the phenomenon. Interestingly, for general classification tasks, the existence of dead pixels improves the training of CNNs. However, in a task that captures small perturbation, dead pixels degrade the performance. Therefore, the existence of these dead pixels should be understood and considered in practical applications of CNN.

연구 동기 및 목표

• 더 큰 수신 영역이 CNN 성능 향상에 기여한다는 가정을 도전하기 위해.
• 이론적 수신 영역 내에 있음에도 불구하고 일부 픽셀이 최종 출력에 거의 기여하지 않는 이유를 조사하기 위해.
• ResNet과 같은 현대 CNN에서 픽셀 감도 불균형의 아키텍처적 원인을 특정하기 위해.
• 픽셀 감도 불균형이 소규모 이미지 변형을 탐지하는 데 필요한 작업에 미치는 영향을 평가하기 위해.
• 커널 패딩을 제안하고, 이를 통해 감도 불균형을 줄이고 미세한 시각 작업에서의 성능 향상을 검증하기 위해.

제안 방법

• 최종 특징 맵에서 입력 이미지로의 기울기 역전파를 사용해 효과적 수신 영역(ERF)을 계산하고, 채널을 평균 내어 공간 기여도를 분리한다.
• ERF는 2차원 가우시안 분포로 시각화되어 입력 픽셀이 출력에 미치는 영향이 공간적으로 균일하지 않음을 드러낸다.
• 입력 픽셀 간 기울기 크기의 분산을 측정해 픽셀 감도 불균형을 정량화하며, 높은 분산은 더 강한 불균형을 의미한다.
• 커널 패딩을 도입해 특징의 공간 매핑을 수정함으로써 인접 픽셀 간 기여도 격차를 줄인다.
• 소규모 변형을 탐지할 수 있는 감도를 테스트하기 위해 무작위 8×8 검은색 또는 빨간색 패치를 포함한 마이크로 오브제크트 분류 작업을 설계한다.
• 실험은 ResNet-101, Wide-ResNet-101-2, ResNeXt-101-32x8d에서 커널 패딩이 있는 모델과 없는 모델 간의 학습 곡선과 수렴 속도(90% 정확도를 초과하는 데 소요된 에포크 수)를 비교한다.

Figure 1: Effective receptive fields were obtained for ResNeXt-101-32x8d. (Left) Effective receptive field of the $7\times 7$ feature map. (Middle) Effective receptive field of the $14\times 14$ feature map. (Right) Effective receptive field of the output. The top row is the effective receptive fiel

실험 결과

연구 질문

• RQ1 현대 CNN에서 이론적 수신 영역 크기와 분류 정확도 사이에 상관관계가 있는가?
• RQ2 이론적 수신 영역 내에 있음에도 불구하고, 공간적으로 가까운 일부 픽셀이 출력에 상당히 더 적게 기여하는 이유는 무엇인가?
• RQ3 홀수 크기의 커널을 사용하고 스트라이드 2를 적용하는 CNN에서 픽셀 감도 불균형을 유발하는 아키텍처적 요인은 무엇인가?
• RQ4 소규모 이미지 변형을 탐지하는 데 필요한 작업에서 픽셀 감도 불균형은 유익한가, 아니면 해로운가?
• RQ5 커널 패딩은 픽셀 감도 불균형을 효과적으로 줄이고, 미세한 분류 작업에서의 학습 수렴을 향상시킬 수 있는가?

주요 결과

• 이론적 수신 영역 크기와 분류 정확도 사이에 상관관계가 없으며, 깊이가 깊어진다고 해서 반드시 더 큰 효과적 수신 영역을 가지는 것은 아니다.
• 네트워크 깊이가 증가함에 따라 효과적 수신 영역이 특정 크기에 도달하면서趋于 포화되며, 깊이 증가만으로는 성능 향상의 한계가 있음을 시사한다.
• 홀수 크기의 커널과 스트라이드 2로 인해 ResNets에서 픽셀 감도 불균형이 존재하며, 이로 인해 인접 픽셀 간 출력 기여도가 상당히 다름을 확인했다.
• 커널 패딩은 픽셀 감도 불균형을 감소시키며, 마이크로 오브제크트 분류 작업에서 수렴 시간이 13–18 에포크 감소함을 정량화했다.
• 커널 패딩이 적용된 모델은 소규모 변형 차이를 포착하기 위해 99% 이상의 테스트 정확도를 달성한 반면, 기준 모델은 훨씬 더 많은 에포크가 필요했다.
• 마이크로 오브제크트 분류 작업에서 커널 패딩은 위치와 크기가 무작위로 변하는 경우에도, 변형 크기의 차이를 더 빠르고 신뢰성 있게 탐지할 수 있도록 했다.

Figure 2: When an odd-sized kernel is applied with stride 2, a checkboard pattern appears.