[논문 리뷰] Visualizing Deep Neural Networks for Speech Recognition with Learned Topographic Filter Maps

Andreas Krug, Sebastian Stober|arXiv (Cornell University)|2019. 12. 06.

Neural Networks and Applications참고 문헌 6인용 수 4

한 줄 요약

이 논문은 음성 인식을 위한 딥 네ural 네트워크에서 학습 중에 인접 필터 간의 공간 유사성을 강제하여 정렬된 필터 맵을 학습하는 방법을 제안한다. 이를 통해 뉴런 활성화를 정렬된 맵으로 더 직관적으로 시각화할 수 있다. 주요 기여는 음소 반응 뉴런이 국소화된 영역에 집중되어 있지 않고 다수의 영역에 흩어져 있음을 입증한 것으로, 이는 비록 시각적 직관성이 향상되었지만 해석 가능성은 제한됨을 시사한다.

ABSTRACT

The uninformative ordering of artificial neurons in Deep Neural Networks complicates visualizing activations in deeper layers. This is one reason why the internal structure of such models is very unintuitive. In neuroscience, activity of real brains can be visualized by highlighting active regions. Inspired by those techniques, we train a convolutional speech recognition model, where filters are arranged in a 2D grid and neighboring filters are similar to each other. We show, how those topographic filter maps visualize artificial neuron activations more intuitively. Moreover, we investigate, whether this causes phoneme-responsive neurons to be grouped in certain regions of the topographic map.

연구 동기 및 목표

• 딥 네럴 네트워크 레이어의 뉴런 순서가 비직관적이며 뒤섞여 있어 활성화를 해석하기 어려운 문제를 해결하기 위해.
• 뇌전도도법(EEG)에서 흔히 사용되는 신경과학 기반의 정렬 맵 기법을 응용하여 인공 신경망 활성화를 더 직관적으로 시각화하기 위해.
• 학습된 2차원 필터 맵에서 음소 반응 뉴런이 특정 영역에 집중되어 있는지 여부를 조사하기 위해.
• 정렬된 구조가 최적화된 입력 생성을 통해 더 해석 가능한 기능 시각화를 가능하게 하는지 평가하기 위해.

제안 방법

• 각 컨볼루션 레이어에 대해 2차원 격자를 정의하여 필터에 공간적 구조를 부여한다 (예: 256개 필터에 대해 16×16, 2048개 필터에 대해 64×32).
• 중앙 필터에서의 유클리드 거리의 역수로 가중된 3×3 이웃 영역 내에서 각 필터와 이웃 필터 간의 유사성을 증가시키기 위해 정규화 손실을 적용한다.
• 이 제약 조건은 코사인 유사도를 최소화하여 정렬된 조직화를 촉진하면서도 모델 성능을 유지한다.
• 기본값 정규화를 적용한 평균 활성화를 위해 Gradient-adjusted Neuron Activation Profiles (GradNAPs) 를 사용한다. 이는 동일한 음소 또는 그래프음 그룹의 입력에 대해 활성화를 평균화한다.
• 가장 반응성이 높은 3×3 영역에 대해 활성화 최대화 기법(Yosinski et al., 2015)을 사용하여 최적의 입력을 생성한다. 이는 단일 필터와 이웃 필터의 조합에 대해 각각 수행된다.
• 비연속적인 3×3 평균 풀링을 통해 부드러운 정렬 맵을 생성하여 활성화 패턴의 시각적 해석 가능성 향상.

실험 결과

연구 질문

• RQ1 딥 음성 인식 네트워크의 음소 반응 뉴런은 학습된 2차원 필터 맵의 특정 영역에 집중되어 있는가?
• RQ2 정렬된 필터 맵은 기존의 순서가 없는 레이어 시각화 방식에 비해 인공 뉴런 활성화의 해석 가능성 향상에 기여하는가?
• RQ3 정렬 맵에서 음소의 분산 표현이 여러 영역에 걸쳐 얼마나 유지되는가?
• RQ4 가장 반응성이 높은 영역에 대해 입력을 최적화하면 해석 가능한 음소 특이적 패턴을 도출할 수 있는가?

주요 결과

• 음소 반응 뉴런은 단일 영역에 국한되어 있지 않고 정렬 맵의 여러 영역에 흩어져 있어 분산 표현을 나타낸다.
• GradNAPs를 통해 도출된 가장 반응성이 높은 영역는 종종 전체 분산 표현의 일부를 놓치며, 동일한 음소에 대해 다른 영역에서도 강한 활성화가 관찰된다.
• 스무딩 없이 직접 격자에 활성화를 시각화하면 부드럽지 않고 해석하기 어려운 패턴이 나오지만, 3×3 윈도우에 대해 평균 풀링을 적용하면 시각적으로 일관된 정렬 맵을 얻을 수 있다.
• 가장 반응성이 높은 영역의 개별 필터에 대해 입력을 최적화하는 것은 명확한 음소 유형 패턴을 드러내지 못하며, 이는 표현이 단일 필터나 소규모 클러스터에 국한되어 있지 않음을 시사한다.
• 현재의 정렬 정규화 전략은 충분한 표현 희박성(스parser representation)을 강제하지 못하여 특징들이 맵의 많은 영역에 퍼져 있는 것으로 나타났다.
• 연구는 정렬 맵이 시각적 직관성을 향상시키지만, 국소화되고 해석 가능한 기능을 얻기 위해서는 더 강력한 정규화(예: 활성화에 대한 정규화 또는 전역 유사도 페널티)가 필요하다고 결론 내린다.