[논문 리뷰] Visualizing Residual Networks

Brian Chu, Daylen Yang외 1명|arXiv (Cornell University)|2017. 01. 09.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 깊이 있는 잔차 신경망(ResNets)에서 잔차 스킵 커넥션의 기능적 역할을 정성적 시각화와 가속화된 역전파를 통해 조사한다. 잔차 블록 내 특징 맵을 분석함으로써 저자들은 스킵 커넥션이 특징을 계층적으로 정교화하고 날카롭게 만든다는 것을 입증한다. 이는 잔차 신경망이 깊이가 증가함에 따라 특징이 점점 더 구분력이 높아지는 계층적 표현을 학습한다는 것을 확인한다. 주요 기여는 잔차 연결이 단순한 신원 매핑이 아니라 특징 정교화를 촉진한다는 시각적 증거를 제공한다는 점이다.

ABSTRACT

Residual networks are the current state of the art on ImageNet. Similar work in the direction of utilizing shortcut connections has been done extremely recently with derivatives of residual networks and with highway networks. This work potentially challenges our understanding that CNNs learn layers of local features that are followed by increasingly global features. Through qualitative visualization and empirical analysis, we explore the purpose that residual skip connections serve. Our assessments show that the residual shortcut connections force layers to refine features, as expected. We also provide alternate visualizations that confirm that residual networks learn what is already intuitively known about CNNs in general.

연구 동기 및 목표

• ImageNet에서 최고 성능을 기록한 ResNets에서 잔차 스킵 커넥션의 정성적 역할을 이해하기 위해.
• 특징 학습 방식을 분석함으로써 CNN이 점점 더 전역적인 특징을 학습한다는 가정을 도전하기 위해.
• He 등이 제안한 바와 같이, 신원 매핑에 대한 잔차 함수를 학습하는 것이 훈련과 특징 표현에 도움이 된다는 직관을 검증하기 위해.
• 가속화된 역전파와 최상위 활성화 패치를 사용하여 잔차 블록 간 특징 정교화의 시각적 증거를 제공하기 위해.

제안 방법

• 각 잔차 블록에서 입력 픽셀이 유닛 활성화에 어떻게 기여하는지 추적하기 위해 가속화된 역전파를 사용해 특징 맵을 시각화하였다.
• 지정된 레이어의 각 채널을 최대한 활성화시키는 ImageNet 검증 세트의 상위 9개 이미지 패치를 식별하였다.
• 기본 블록과 프로젝션 스킵 커넥션 블록을 모두 사용한 50층의 사전 훈련된 ResNet 아키텍처를 사용하여 일관된 비교를 수행하였다.
• Yosinski 등의 시각화 코드를 수정하여 잔차 신경망 아키텍처와 가속화된 역전파를 지원하도록 하였다.
• 특징의 진화 패턴을 평가하기 위해 레이어 간 변화를 비교하였다(예: res2a → res2b → res2c).
• 채널 수가 변화하고 프로젝션 스킵 커넥션이 사용되는 아키텍처 경계(예: res3c → res4a)에서 필터 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 잔차 스킵 커넥션은 깊은 네트워크의 레이어 간에 학습된 특징의 진화에 어떻게 영향을 미치는가?
• RQ2 잔차 블록이 특징을 단순히 통과시키는 것보다 얼마나 정교화하는가?
• RQ3 잔차 신경망은 깊이가 증가함에 따라 특징이 점점 더 구분력이 높아지는 계층적 표현을 학습하는가?
• RQ4 채널 수가 증가하고 공간 해상도가 감소하는 기본 블록에서 프로젝션 블록으로 전환할 때 특징 패턴은 어떻게 변화하는가?
• RQ5 가속화된 역전파를 통해 잔차 신경망이 He 등의 가설처럼 신원 매핑에 대한 함수를 학습한다는 것이 시각적으로 확인될 수 있는가?

주요 결과

• 동일한 차원을 가진 잔차 블록에서는 점진적인 정교화가 나타난다: 특징이 계층을 거치며 날카롭게 정교화되고 더 구분력이 높아진다. 예를 들어 곡선이 고리 형태로 변화한다.
• 일부 필터, 예를 들어 채널 150은 res2a에서 약간의 곡선을 감지하다가 res2b와 res2c에서는 더 단단한 곡선을 인식함으로써 정교화의 흐름을 보여준다.
• res5a의 필터 1660은 처음에는 투인승 자전거에 활성화되며, res5c에서는 상위 9개 활성화 패치 모두가 투인승 자전거로 나타나 깊이에 따른 강력한 정교화가 이루어짐을 보여준다.
• 가속화된 역전파 시각화 결과, 필터들이 특정 부분에 집중함을 확인할 수 있다. 예를 들어 수트 칼라나 자전거 바퀴의 레이아웃 등 구분력 있는 부분에 초점을 맞춘다.
• AlexNet과는 달리, 특징 간의 대응이나 정교화가 거의 없었지만 ResNets는 잔차 블록 간에 명확하고 일관된 정교화 패턴을 보였다.
• 스킵 커넥션의 존재는 특징이 단순히 통과되는 것이 아니라 정교화됨을 가능하게 하며, 이는 잔차 학습이 원시 특징 학습보다 더 효과적이라는 가설을 지지한다.