[논문 리뷰] Do Wide and Deep Networks Learn the Same Things? Uncovering How Neural Network Representations Vary with Width and Depth

Thao Nguyen, Maithra Raghu외 1명|arXiv (Cornell University)|2021. 05. 03.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 91

한 줄 요약

이 논문은 넓이와 깊이가 신경망 표현에 어떻게 영향을 미치는지 조사하며, 고용량 모델의 은닉 표현에서 특징적인 블록 구조가 나타남을 밝혀낸다. 이 블록 구조는 모델 용량이 훈련 데이터 크기 이상일 때 나타나며, 주요 주성분이 유지됨을 반영하여, 유사한 총 정확도와 블록 외부 공유 특징에도 불구하고 아키텍처 간에 고유한 표현을 이룬다.

ABSTRACT

A key factor in the success of deep neural networks is the ability to scale models to improve performance by varying the architecture depth and width. This simple property of neural network design has resulted in highly effective architectures for a variety of tasks. Nevertheless, there is limited understanding of effects of depth and width on the learned representations. In this paper, we study this fundamental question. We begin by investigating how varying depth and width affects model hidden representations, finding a characteristic block structure in the hidden representations of larger capacity (wider or deeper) models. We demonstrate that this block structure arises when model capacity is large relative to the size of the training set, and is indicative of the underlying layers preserving and propagating the dominant principal component of their representations. This discovery has important ramifications for features learned by different models, namely, representations outside the block structure are often similar across architectures with varying widths and depths, but the block structure is unique to each model. We analyze the output predictions of different model architectures, finding that even when the overall accuracy is similar, wide and deep models exhibit distinctive error patterns and variations across classes.

연구 동기 및 목표

• 네트워크의 깊이와 너비를 다양하게 조절할 때 신경망에서 학습된 표현이 어떻게 영향을 받는지 이해하기 위해.
• 유사한 성능을 보일 때 넓이와 깊이 모델이 유사한지 또는 다른 특징을 학습하는지 조사하기 위해.
• 모델 용량이 증가함에 따라 나타나는 은닉 표현 내의 구조적 패턴을 식별하기 위해.
• 넓이와 깊이 아키텍처 간의 예측 오류 및 클래스 수준의 차이를 분석하기 위해.

제안 방법

• 표준 데이터셋으로 훈련된 깊이와 넓이가 다른 신경망의 은닉 표현을 분석하기 위해.
• 주성분 분석(PCA)을 적용하여 계층 간에 유지되는 주요 성분을 식별하기 위해.
• 계층이 깊이에 걸쳐 공통된 주성분을 유지하는 방식으로 블록 구조를 탐지하기 위해.
• 정확도를 통제하면서 너비와 깊이가 다른 모델 간의 표현과 예측을 비교하기 위해.
• 일반화 능력의 차이를 평가하기 위해 모델 출력의 오류 패턴과 클래스별 변동성을 측정하기 위해.

실험 결과

연구 질문

• RQ1 너비와 깊이는 신경망에서 학습된 표현의 구조에 어떻게 영향을 미치는가?
• RQ2 모델 용량이 훈련 데이터 크기 이상일 때 은닉 표현에 어떤 구조적 패턴이 나타나는가?
• RQ3 넓이와 깊이 모델이 유사한 특징을 얼마나 공유하거나 다르게 학습하는가?
• RQ4 유사한 정확도를 가진 넓이와 깊이 모델 간에 예측 오류는 클래스별로 어떻게 다를까?

주요 결과

• 고용량 모델의 은닉 표현에서 블록 구조가 나타나며, 이는 주요 주성분이 계층 간에 유지되고 전파됨을 나타낸다.
• 블록 구조는 모델 용량이 훈련 세트 크기 대비 크기가 클 때 나타나며, 용량에 기반한 표현 현상임을 시사한다.
• 블록 구조 외부의 표현은 넓이와 깊이 모델 간에 유사하여, 비주도 성분에서 공통된 특징 학습이 이루어짐을 나타낸다.
• 블록 구조는 각 모델 아키텍처 고유의 것이며, 유사한 정확도에도 불구하고 넓이와 깊이 모델이 서로 다른 표현을 학습함을 의미한다.
• 유사한 총 정확도에도 불구하고 넓이와 깊이 모델은 고유한 오류 패턴과 클래스 간 변동성을 보이며, 서로 다른 인덕티브 바이어스를 지닌다.