[논문 리뷰] Visualizing Transfer Learning

Róbert Szabó, Dániel Katona외 3명|arXiv (Cornell University)|2020. 07. 15.

Cell Image Analysis Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 ImageNet에서 더 작은 데이터셋(CelebA, Flowers17, Animals)으로의 전이 학습 중에 딥 InceptionV1 네트워크의 개별 뉴런을 시각화한다. StyleGAN2 기반 생성 전도를 사용한 활성화 최대화를 통해 동적 적응, 뉴런 재사용, 공간적 특징 스케일링, 소규모 데이터에서의 행동을 규명하며, 미세조정 과정에서 특징이 어떻게 진화하는지에 대한 정성적 통찰을 제공한다. 공개된 데이터셋은 약 30,000개의 시각화로 구성되어 있으며, https://bit.ly/visualizing-transfer-learning 에서 확인할 수 있다.

ABSTRACT

We provide visualizations of individual neurons of a deep image recognition network during the temporal process of transfer learning. These visualizations qualitatively demonstrate various novel properties of the transfer learning process regarding the speed and characteristics of adaptation, neuron reuse, spatial scale of the represented image features, and behavior of transfer learning to small data. We publish the large-scale dataset that we have created for the purposes of this analysis.

연구 동기 및 목표

• 딥 컨volutional 네트워크에서 전이 학습 중 개별 뉴런의 동적 행동을 이해하기 위해.
• 생성 전도를 사용한 활성화 최대화를 통해 미세조정 과정에서 특징이 시간에 따라 어떻게 진화하는지 시각화하기 위해.
• 다양한 레이어와 데이터셋 간 뉴런 재사용, 특징의 공간적 스케일, 적응 속도를 조사하기 위해.
• 공개 분석과 재현 가능성을 위해 약 30,000개의 뉴런 시각화로 구성된 대규모, 브라우저 기반 데이터셋을 제공하기 위해.

제안 방법

• 평균 풀링 채널 활성화를 최적화하여 기울기 상승을 통한 활성화 최대화를 사용해 개별 뉴런의 시각화를 생성한다.
• 시각적 해석성을 향상시키기 위해 현실적인 얼굴 이미지의 다양체에 제약을 두기 위해 StyleGAN2 생성기를 인지 전도로 활용한다.
• CelebA, Flowers17, Animals 데이터셋에 대해 미세조정된 배치 정규화된 InceptionV1 모델에 이 방법을 적용한다.
• 안정성과 다양성을 평가하기 위해 반복적인 최적화 실행을 수행하고, 필터 가중치를 수정하여 분석 실험을 실시한다.
• 여러 훈련 반복 단계와 레이어 깊이에서 전이 학습 과정을 시각화하여 전이 전·후 상태를 비교한다.
• Lucid 기반과 StyleGAN2 기반 시각화를 대조하여 결과를 검증하고 해석을 정밀화한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 개별 뉴런은 전이 학습 중 어떻게 적응하며, 이러한 적응의 시간적 동역학은 어떠한가?
• RQ2 소규모 데이터셋에서의 미세조정 과정에서 뉴런은 어느 정도 재사용되거나 재구성되는가?
• RQ3 뉴런이 표현하는 특징의 공간적 스케일은 전이 학습 과정에서 어떻게 변화하는가?
• RQ4 기존 활성화 최대화에 비해 StyleGAN2와 같은 생성 전도는 특징 시각화의 해석 가능성에 어떻게 기여하는가?
• RQ5 개별 필터 가중치를 수정할 경우 결과로 나타나는 뉴런 시각화에 어떤 영향을 미치며, 이는 특징의 강건성에 대해 어떤 시사점을 갖는가?

주요 결과

• InceptionV1 네트워크의 더 깊은 레이어에 있는 뉴런들은 전체 얼굴 이미지에 매우 민감하게 반응하며, 복잡한 얼굴 특징을 잘 포착한다.
• StyleGAN2 기반 전도를 사용하면 사실적으로 구현된 얼굴 유사 이미지가 생성되며, 이는 종종 Lucid 시각화와 유사하여 공통된 기저 특징을 강화한다.
• 반복적인 최적화 실행은 유사하지만 정확히 동일한 결과로 수렴하지는 않으며, 지역 최적점이 안정적이지만 최적화 과정 자체에 내재된 확률적 성격이 있음을 시사한다.
• 일부 뉴런 시각화는 작은 가중치 변형에 매우 민감한데, 특히 상위 필터 가중치를 반전시킬 경우 두드러지게 나타나, 특정 특징이 활성화에 결정적인 역할을 함을 시사한다.
• 시각화 결과는 전이 학습이 단계적으로 진행됨을 보여주며, 초기 적응은 빠르고 局부적이고, 후기 단계에서는 전반적인 특징의 정밀 조정이 이루어짐을 나타낸다.
• ~30,000개의 시각화로 구성된 데이터셋은 네 가지 데이터셋에 걸쳐 전이 학습의 역학을 연구하기 위한 종합적이고 브라우저 기반의 자원을 제공한다.