[논문 리뷰] Revisiting the Importance of Individual Units in CNNs via Ablation

Bolei Zhou, Yiyou Sun외 2명|arXiv (Cornell University)|2018. 06. 07.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 89

한 줄 요약

개별 CNN 유닛의 제거가 전체 정확도에 미치는 영향은 크지 않으나 특정 클래스에 대해서는 큰 감소를 유발할 수 있어, 유닛이 클래스 하위 집합에 대해 특화되어 있음을 시사한다. 연구는 유닛 속성과 클래스별 중요성 간의 연관성을 밝히고 회전, 배치 정규화, 드롭아웃의 효과를 조사한다.

ABSTRACT

We revisit the importance of the individual units in Convolutional Neural Networks (CNNs) for visual recognition. By conducting unit ablation experiments on CNNs trained on large scale image datasets, we demonstrate that, though ablating any individual unit does not hurt overall classification accuracy, it does lead to significant damage on the accuracy of specific classes. This result shows that an individual unit is specialized to encode information relevant to a subset of classes. We compute the correlation between the accuracy drop under unit ablation and various attributes of an individual unit such as class selectivity and weight L1 norm. We confirm that unit attributes such as class selectivity are a poor predictor for impact on overall accuracy as found previously in recent work \cite{morcos2018importance}. However, our results show that class selectivity along with other attributes are good predictors of the importance of one unit to individual classes. We evaluate the impact of random rotation, batch normalization, and dropout to the importance of units to specific classes. Our results show that units with high selectivity play an important role in network classification power at the individual class level. Understanding and interpreting the behavior of these units is necessary and meaningful.

연구 동기 및 목표

• 개별 CNN 유닛이 전체 정확도 이외의 시각 인식에 어떻게 기여하는지 자세히 분석하도록 동기를 부여한다.
• 대규모 데이터셋에서 한 유닛 제거가 전체 및 클래스로 나뉜 정확도에 미치는 영향을 정량화한다.
• 유닛 속성(선택성, 상관관계, L1 노름, 콘셉트 정렬)과 클래스별 중요성 간의 상관 관계를 조사한다.
• 배치 정규화, 드롭아웃 같은 트레이닝 정규화기가 유닛 해석력과 클래스별 기여에 어떤 영향을 주는지 살펴본다.

제안 방법

• 유닛의 가중치와 바이어스를 0으로 만들어 유닛 제거를 수행하고 검증 정확도 감소를 측정한다.
• 두 가지 감소를 계산한다: 전체 정확도 감소와 클래스별 정확도 감소(유닛당 최대 클래스 정확도 감소).
• 최대 클래스 정확도 감소로 유닛을 순위화하여 각 유닛이 전달하는 클래스별 정보를 평가한다.
• 유닛 속성(L1 노름, 클래스 상관관계, 클래스 선택성, 콘셉트 IoU)과 전체 및 최대 클래스 정확도 감소 사이의 상관관계를 분석한다.
• 랜덤 방향 회전에 비해 방향성 현상을 구분하기 위해 유닛 방향의 무작위 회전과 비교한다.
• 배치 정규화와 드롭아웃이 유닛 수준의 해석력과 클래스별 기여에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 단일 유닛 제거가 전반적인 CNN 정확도에 유의하게 영향을 미치는가, 아니면 특정 클래스 하위집합에 주로 영향을 미치는가?
• RQ2 어떤 유닛 속성이 유닛의 클래스별 중요도와 전반적 일반화에 대한 중요도를 가장 잘 예측하는가?
• RQ3 배치 정규화와 드롭아웃 같은 정규화 기법이 유닛이 전달하는 클래스별 정보에 어떤 영향을 주는가?
• RQ4 제거 효과가 의미 있는 유닛 방향 때문인가, 아니면 표현 공간의 무작위 회전 때문인가?

주요 결과

• 단일 유닛 제거는 일반적으로 전체 정확도에서 작은 감소를 보이지만 특정 클래스에 대해 큰 감소를 일으킬 수 있다(예: 일부 클래스에서 >10%).
• 유닛은 특정 클래스에 대한 해를 더 많이 영향을 주며 제거된 유닛이 특정 클래스에 더 큰 피해를 주어 표현 공간의 단일 방향과의 정렬을 시사한다.
• 최대 클래스 정확도 감소는 여러 유닛 속성과 음의 상관관계를 보이며, 특히 클래스 선택성과 클래스 상관관계와의 상관이 더 큰 클래스에 더 큰 영향을 주는 것으로 나타난다.
• L1 노름은 전체 및 클래스별 감소와 상관관계가 있어 가지치기에 관련된 가중치가 유닛 중요성과 관련이 있음을 시사한다.
• 콘셉트 정렬(IoU와 시각적 콘셉트 간의 IoU)이 유닛이 가장 영향을 미치는 클래스를 예측하는 강력한 지표로, 단일 속성 예측 중 다른 속성보다 per-unit 클래스 영향을 예측하는 데 더 우수하다.
• 유닛 방향의 무작위 회전은 일반적으로 진짜 유닛 방향보다 클래스별 효과가 약하므로, 무작위 방향을 넘어선 특화가 있음을 시사한다.