[논문 리뷰] Probing neural networks with t-SNE, class-specific projections and a guided tour

Christopher Hoyt, Art B. Owen|arXiv (Cornell University)|2021. 07. 26.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망의 각 층을 단계적으로 탐색하기 위해 클래스별 투영과 t-SNE 시각화를 도입하여 특성 학습 과정에서 클래스 내 구조가 어떻게 변화하는지 밝혀낸다. 연구에서는 초기 층에서 클래스 내 이중 모드 구조(예: 가방과 샌들 유형)를 유지하는 경향이 있지만, 높은 분류 정확도를 달성함에도 불구하고 후속 층에서는 이러한 구조가 약화되거나 사라질 수 있음을 발견하였으며, 이러한 투영을 활용한 가이드드 투어 프레임워크를 제안하여 동적 시각화를 가능하게 한다.

ABSTRACT

We use graphical methods to probe neural nets that classify images. Plots of t-SNE outputs at successive layers in a network reveal increasingly organized arrangement of the data points. They can also reveal how a network can diminish or even forget about within-class structure as the data proceeds through layers. We use class-specific analogues of principal components to visualize how succeeding layers separate the classes. These allow us to sort images from a given class from most typical to least typical (in the data) and they also serve as very useful projection coordinates for data visualization. We find them especially useful when defining versions guided tours for animated data visualization.

연구 동기 및 목표

• 추론 중에 깊이 있는 신경망을 탐색하기 위한 그래픽 도구를 개발하며, 특성의 층 간 변화에 중점을 둔다.
• 가방이나 샌들 같은 클래스 내 하위 유형(예: 플랫 샌들 vs. 하이힐 샌들)과 같은 클래스 내 구조를 식별하고 시각화한다.
• 표준 t-SNE를 넘어서 클래스별 투영 벡터를 사용하여 재현 가능하고 해석 가능한 시각화 기법을 개발한다.
• 중간 층 표현을 위한 동적이고 가이드드 투어를 가능하게 하여 특성 변환의 해석 가능성을 높인다.
• 랜덤 초기화에서 학습한 네트워크와 전이 학습을 통해 학습한 네트워크를 비교하여 초기 층의 조직 구조에서의 차이를 밝혀낸다.

제안 방법

• 신경망 깊이에 따라 군집화와 클래스 간 분리 정도를 시각화하기 위해 중간 층 활성화에 t-SNE를 적용한다.
• 주성분과 유사한 클래스별 투영 벡터를 정의하여, 각 클래스별로 데이터를 투영하고 내부 구조를 드러내도록 학습한다.
• 모든 클래스에 걸쳐 클래스별 점수를 정규화하여 이미지의 일반성(형태적 일반성)을 비교 ranking할 수 있도록 한다.
• 이러한 투영을 활용해 가이드드 투어를 생성—정보성 있는 투영 쌍 간의 보간을 통해 애니메이션 시각화를 구현한다.
• 랜덤 초기화에서 학습한 네트워크(CIFAR-10/VGG)와 ImageNet 전이 학습을 통해 학습한 네트워크(Fashion-MNIST/ResNet50)를 비교한다.
• 클래스별 투영의 층 간 히스토그램을 분석하여 이중 모드 또는 기울어진 분포가 나타나는지 확인하여 하위군 존재 여부를 탐지한다.

실험 결과

연구 질문

• RQ1 학습된 신경망에서, 예를 들어 플랫 샌들과 하이힐 샌들의 하위 유형과 같은 클래스 내 구조는 층을 거치며 어떻게 변화하는가?
• RQ2 최종 분류 정확도가 높은 상태에서도 초기 층에서 관찰되는 일부 하위 구조가 후속 층에서 사라지는 이유는 무엇인가?
• RQ3 표준 주성분 분석이나 단순 t-SNE에 비해 클래스별 투영이 얼마나 더 정보적인 구조를 드러내는가?
• RQ4 랜덤 초기화에서 학습한 네트워크와 전이 학습을 통해 미세조정한 네트워크의 초기 층 조직 구조는 어떻게 다를까?
• RQ5 클래스별 투영을 기반으로 한 가이드드 투어가 특성 변환의 더 해석 가능하고 집중적인 시각화를 제공할 수 있는가?

주요 결과

• t-SNE 시각화 결과, 가방이나 샌들과 같은 클래스 내 군집화가 초기 층에서 나타나지만, 높은 테스트 정확도를 달성함에도 불구하고 최종 층에 이르면 종종 사라지는 것으로 나타났다.
• 클래스별 투영은 가방(27번 층부터)과 샌들(가방보다 앞선 층에서)의 중간 층에서 이중 모드 분포를 드러내어 동일한 클래스 내 두 가지의 서로 다른 이미지 유형이 존재함을 확인하였다.
• 가방과 샌들의 이중 모드 구조는 후속 층으로 갈수록 뚜렷하지 않게 되며, 최종 층에서야 비로소 간격이 줄어들어 하위 유형이 후기 단계에서 융합됨을 시사한다.
• 최종 층의 히스토그램은 이중 모드성이 감소했지만, 여전히 극단적인 예시(예: 플랫 vs. 하이힐 샌들)를 구분할 수 있어 잔여 구조가 존재함을 나타낸다.
• 네트워크는 구형 클러스터가 아니라 타원형 클러스터를 형성하는 신경망 콜라프스의 변형을 보이며, 초기에는 클러스터 간 각도가 90° 이하였고 깊이가 증가함에 따라 점차 90°로 증가한다.
• 전이 학습을 통해 학습한 네트워크(예: Fashion-MNIST에 대한 ResNet50)는 랜덤 초기화된 네트워크(예: CIFAR-10에 대한 VGG)에 비해 t-SNE 픗 anale에서 더 이른 시점에 구조적인 팔이 형성되는 경향을 보였다.