[논문 리뷰] CNNComparator: Comparative Analytics of Convolutional Neural Networks

Haipeng Zeng, Hammad Haleem외 3명|arXiv (Cornell University)|2017. 10. 15.

Neural Networks and Applications참고 문헌 20인용 수 27

한 줄 요약

이 논문은 훈련된 합성곱 신경망(CNN)의 두 개의 훈련 에포크(예: 10번째 vs. 100번째 에포크)에 대한 스냅샷을 비교하는 상호작용형 시각화 분석 시스템인 CNNComparator를 제시한다. 계층, 채널, 뉴런 수준에서 모델 가중치와 특징 활성화 패턴의 차이를 분석함으로써, 모델 가중치와 특징 표현 방식의 변화를 파악하고, 성능 향상이나 오분류와 관련된 중요한 변화 요소를 식별할 수 있다.

ABSTRACT

Convolutional neural networks (CNNs) are widely used in many image recognition tasks due to their extraordinary performance. However, training a good CNN model can still be a challenging task. In a training process, a CNN model typically learns a large number of parameters over time, which usually results in different performance. Often, it is difficult to explore the relationships between the learned parameters and the model performance due to a large number of parameters and different random initializations. In this paper, we present a visual analytics approach to compare two different snapshots of a trained CNN model taken after different numbers of epochs, so as to provide some insight into the design or the training of a better CNN model. Our system compares snapshots by exploring the differences in operation parameters and the corresponding blob data at different levels. A case study has been conducted to demonstrate the effectiveness of our system.

연구 동기 및 목표

• CNN 가중치와 특징 활성화가 훈련 과정에서 어떻게 변화하는지 이해하는 데 어려움이 있는 문제를 해결하기 위해, 특히 성능 향상이 시간에 따라 이루어지는 경우를 대비한다.
• 블랙박스 모델 해석의 한계를 극복하기 위해, 동일한 훈련 과정에서 생성된 두 모델 스냅샷을 비교할 수 있는 확장 가능하고 상호작용 가능한 시각화 시스템을 제공한다.
• 사용자가 변화가 가장 큰 계층, 채널 또는 뉴런을 식별하고, 이러한 변화가 특징 학습과 분류 정확도에 어떤 영향을 미치는지 지원한다.
• 특정 모델이 후기 훈련 단계에서 더 나은 성능을 보이는 이유를 이해하는 데 기여하며, 예를 들어 더 세밀한 특징 세부 정보나 주로 색상과 같은 주요 특징에 과적합되어 오분류가 발생하는 경우를 설명한다.
• 먼저 동일 훈련 내 비교를 해결함으로써, 향후 서로 다른 아키텍처나 하이퍼파라미터를 가진 모델 간 비교의 기초를 마련한다.

제안 방법

• 시스템은 상향식으로 다단계 시각화 접근 방식을 사용하여, 모델, 계층, 채널, 뉴런 수준에서의 차이를 분석한다.
• 네 가지 연결된 시각화 뷰를 포함한다: (1) 네트워크 아키텍처 뷰는 구조적 차이를 보여주며; (2) 차이 분포 뷰는 각 계층의 매개변수 차이 분포를 시각화한다; (3) 컨볼루션 연산 뷰는 2차원 가중치 행렬과 활성화 맵을 비교한다; (4) 성능 비교 뷰는 모델 정확도와 상위 활성화 패치를 대조한다.
• 매개변수 차이는 두 스냅샷의 대응 계층에서의 가중치 행렬 간 유클리드 거리로 계산된다.
• 시스템은 상호작용 필터링을 지원하여, 사용자가 범례 임계값을 조정해 작은 매개변수 변화를 숨기고, 집중적인 분석을 위해 중요한 변화만 강조 표시할 수 있다.
• 상위 활성화 값을 가진 이미지 패치를 양쪽에 나란히 시각화하여, 서로 다른 에포크에서의 특징 학습을 비교한다.
• 이 접근 방식은 AlexNet에 적용되었지만, 공유된 컨볼루션 연산 구조 덕분에 VGG나 GoogleNet과 같은 다른 CNN 아키텍처로도 확장 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 훈련의 초기 단계와 후기 단계 사이에서 CNN 모델의 학습된 매개변수는 어떻게 변화하는가? 특히 어떤 계층이나 뉴런에서 가장 큰 업데이트가 이루어지는가?
• RQ2 모델 매개변수의 변화와 성능 향상(예: 정확도 및 특징 구분 능력 향상) 간의 관계는 어떠한가?
• RQ3 특징 활성화 패턴(blob 데이터)은 훈련 에포크에 따라 어떻게 변화하는가? 그리고 이는 모델이 특정 이미지 특징에 집중하는 방식을 어떻게 드러내는가?
• RQ4 두 스냅샷의 시각적 비교를 통해, 주로 색상이나 질감에 과적합되어 오분류가 발생하는 이유를 밝힐 수 있는가?
• RQ5 직접 매개변수를 검토할 수 없는 대규모 복잡성으로 인해, 상호작용형 시각화가 CNN의 내부 진화를 이해하는 데 어떻게 기여할 수 있는가?

주요 결과

• 차이 분포 뷰는 대부분의 계층에서 미세한 매개변수 변화가 지배하고 있음을 드러내었으며, 뚜렷한 변화는 특정 뉴런과 채널에 국한되어 있었다.
• 100 에포크 이후, 모델은 10 에포크에 비해 더 세밀하고 복잡한 특징 활성화 패턴을 보였으며, 특히 미세한 이미지 패치를 더 잘 포착하는 경향을 보였다.
• 100 에포크에서 더 높은 정확도를 기록했음에도 불구하고, 훈련 데이터에서 클래스 14에 대해 노란색 특징이 지배적이었기 때문에, 모델은 니아르를 버터컵으로 잘못 분류하였다.
• 컨볼루션 연산 뷰를 통해 매개변수 변화가 균일하게 분포되어 있지 않고 특정 영역에 집중되어 있음을 확인할 수 있었으며, 이는 데이터 패턴에 대응하는 타겟된 학습을 반영한다.
• 상호작용 필터링을 통해 사용자는 영향력이 큰 매개변수 변화를 분리하고 분석할 수 있었으며, 이는 빅데이터 규모의 모델 진화에 대한 시각적 혼잡도를 줄이고 해석 가능성을 향상시켰다.
• 시스템은 동일한 훈련 과정에서의 스냅샷 비교가 특징 정련과 잠재적 과적합과 같은 훈련 역학에 대한 유의미한 통찰을 드러낼 수 있음을 성공적으로 입증하였다.