[논문 리뷰] DeepTracker: Visualizing the Training Process of Convolutional Neural Networks

Dongyu Liu, Weiwei Cui외 3명|arXiv (Cornell University)|2018. 08. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 24

한 줄 요약

DeepTracker는 수백만 번의 훈련 반복 동안 깊이 있는 합성곱 신경망(CNN)의 훈련 동역학을 탐색할 수 있도록 전문가들이 시각화된 이질적인 데이터(예: 뉴런 가중치, 검증 정확도, 클래스별 성능 등)를 제공하는 시각적 분석 시스템이다. 계층적 색인, 소형 다중화, 큐브 스타일 상관관계 시각화를 사용하여 숨겨진 패턴과 이질성을 드러내어 CNN 훈련의 이해와 최적화를 크게 향상시켰으며, ImageNet에서 ResNet-50을 훈련시킨 사례에서 이를 입증하였다.

ABSTRACT

Deep convolutional neural networks (CNNs) have achieved remarkable success in various fields. However, training an excellent CNN is practically a trial-and-error process that consumes a tremendous amount of time and computer resources. To accelerate the training process and reduce the number of trials, experts need to understand what has occurred in the training process and why the resulting CNN behaves as such. However, current popular training platforms, such as TensorFlow, only provide very little and general information, such as training/validation errors, which is far from enough to serve this purpose. To bridge this gap and help domain experts with their training tasks in a practical environment, we propose a visual analytics system, DeepTracker, to facilitate the exploration of the rich dynamics of CNN training processes and to identify the unusual patterns that are hidden behind the huge amount of training log. Specifically,we combine a hierarchical index mechanism and a set of hierarchical small multiples to help experts explore the entire training log from different levels of detail. We also introduce a novel cube-style visualization to reveal the complex correlations among multiple types of heterogeneous training data including neuron weights, validation images, and training iterations. Three case studies are conducted to demonstrate how DeepTracker provides its users with valuable knowledge in an industry-level CNN training process, namely in our case, training ResNet-50 on the ImageNet dataset. We show that our method can be easily applied to other state-of-the-art "very deep" CNN models.

연구 동기 및 목표

• CNN 훈련 과정의 복잡하고 동적인 행동을 이해하기 위한 세밀하고 상호작용 가능한 시각화 도구의 부족을 해결하기 위해.
• 도메인 전문가가 수백만 번의 반복 동안 수많은 파라미터를 포함한 대규모 이질적 훈련 로그(예: 가중치, 기울기, 검증 결과 등)를 효율적으로 탐색할 수 있도록 하기 위해.
• ResNet-50과 같은 매우 깊은 네트워크에서 계층별 및 클래스별 훈련 행동을 비교 분석할 수 있도록 하기 위해.
• 훈련 과정에서의 이례적 또는 이질적인 패턴을 식별하여 문제 또는 최적화 기회를 파악하기 위해.
• 원시 훈련 로그와 실질적인 통찰 사이의 격차를 메우어 CNN 개발을 가속화하기 위해.

제안 방법

• 대규모 훈련 로그를 효율적으로 저장하고 검색하기 위해 계층적 색인 메커니즘을 사용하여 실시간으로 다양한 수준의 세부 정보를 탐색할 수 있도록 한다.
• 핵심 지표(예: 정확도, 손실)의 변화를 다양한 훈련 반복 단계에서 계층과 클래스별로 탐색하기 위해 소형 다중화 기법을 적용한다.
• 뉴런 가중치, 검증 이미지, 훈련 반복 수 등 이질적인 데이터 유형 간의 복잡한 상관관계를 세 차원에서 드러내기 위해 새로운 큐브 스타일 시각화 기법을 도입한다.
• 확장 가능한 분석을 위해 원시 데이터 부피를 줄이면서도 핵심 동역학을 유지하기 위해 내림표집 전략을 적용한다.
• 슬라이딩 윈도우 통계를 사용한 규칙 기반 이상 탐지 기법을 구현하여 이례적인 파라미터 또는 성능 변화를 경고로 표시한다.
• 검색, 집계, 상호작용 링킹을 세 뷰(검증, 계층, 상관관계) 간에 통합하여 조율된 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전문가들은 수백만 번의 반복과 수천 개의 파라미터를 포함한 CNN 훈련 동역학의 변화를 어떻게 효과적으로 탐색할 수 있는가?
• RQ2 확장 가능한 시각적 분석을 통해 가중치 업데이트, 정확도, 또는 클래스별 성능에서 숨겨진 패턴이나 이질성을 어떻게 탐지할 수 있는가?
• RQ3 수치적 파라미터, 이미지, 분류 결과 등 이질적인 데이터 유형을 어떻게 함께 시각화하여 복잡한 상관관계를 드러낼 수 있는가?
• RQ4 시각적 분석이 ResNet-50을 ImageNet에서 훈련시키는 대규모 CNN 훈련의 이해와 최적화를 크게 향상시킬 수 있는가?
• RQ5 상호작용 가능한 시각 도구는 CNN 하이퍼파rameter 튜닝과 모델 디버깅에서의 시행착오 부담을 어떻게 줄일 수 있는가?

주요 결과

• DeepTracker는 수 테라바이트가 넘는 훈련 로그를 포함한 ImageNet에서의 ResNet-50 훈련 동역학을 성공적으로 시각화하여 계층적 색인과 효율적인 데이터 접근을 통해 상호작용 가능한 탐색을 가능하게 하였다.
• 큐브 스타일 시각화 기법은 뉴런 가중치, 검증 정확도, 훈련 반복 수 간의 복잡한 다차원 상관관계를 효과적으로 드러내어 명백하지 않은 관계를 발견하는 데 기여하였다.
• 전문가들은 시스템의 기본적인 시각적 인코딩을 통해 의미 있는 패턴(기대된 것과 그렇지 않은 것 모두)을 식별하였으며, 명확성과 성능을 위해 복잡한 시각적 매핑보다는 간단한 표현 방식을 선호하였다.
• 계층적 소형 다중화와 필터링 기능 덕분에 전문가들은 수천 개의 요소를 동시에 비교하여 계층별 및 클래스별 행동을 분석할 수 있었다.
• 규칙 기반 임계값을 사용한 이상 탐지 기법이 갑작스러운 정확도 하락이나 가중치 포화와 같은 이례적인 훈련 행동을 성공적으로 경고하였으며, 이후 도메인 전문가에 의해 검증되었다.
• 시스템은 강력한 확장성을 보였으며, 실시간으로 수십 개의 계층과 이미지 클래스를 분석할 수 있었지만, 극도로 큰 규모(수백 또는 수천 개의 소형 다중화)에서는 성능 저하가 발생하였다.