[논문 리뷰] On the Origins of the Block Structure Phenomenon in Neural Network Representations

Thao D. Nguyen, Maithra Raghu외 1명|arXiv (Cornell University)|2022. 02. 15.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 딥 네URAL 네트워크 표현에서 블록 구조가 배경 색상이 유사한 이미지와 같은 소수의 주요 데이터 포인트들에 의해 유도된다는 점을 규명한다. 이러한 데이터 포인트들은 연속된 레이어에서 매우 유사하고 고분산된 첫 번째 주성분을 유도한다. 다양한 랜덤 시드에 걸쳐 변하지만, 이러한 주요 데이터 포인트들이 블록 구조를 담당하며, 주성분 정규화나 Shake-Shake와 같은 훈련 기법을 통해 성능에 손상 없이 블록 구조를 제거할 수 있다.

ABSTRACT

Recent work has uncovered a striking phenomenon in large-capacity neural networks: they contain blocks of contiguous hidden layers with highly similar representations. This block structure has two seemingly contradictory properties: on the one hand, its constituent layers exhibit highly similar dominant first principal components (PCs), but on the other hand, their representations, and their common first PC, are highly dissimilar across different random seeds. Our work seeks to reconcile these discrepant properties by investigating the origin of the block structure in relation to the data and training methods. By analyzing properties of the dominant PCs, we find that the block structure arises from dominant datapoints - a small group of examples that share similar image statistics (e.g. background color). However, the set of dominant datapoints, and the precise shared image statistic, can vary across random seeds. Thus, the block structure reflects meaningful dataset statistics, but is simultaneously unique to each model. Through studying hidden layer activations and creating synthetic datapoints, we demonstrate that these simple image statistics dominate the representational geometry of the layers inside the block structure. We explore how the phenomenon evolves through training, finding that the block structure takes shape early in training, but the underlying representations and the corresponding dominant datapoints continue to change substantially. Finally, we study the interplay between the block structure and different training mechanisms, introducing a targeted intervention to eliminate the block structure, as well as examining the effects of pretraining and Shake-Shake regularization.

연구 동기 및 목표

• 블록 구조가 모델 간 일관되지만 랜덤 시드 간에 매우 다름으로 인해 발생하는 모순을 해결하기 위해.
• 블록 구조가 의미 있는 데이터셋 통계를 반영하는지 아니면 허위 과적합의 산물인지 조사하기 위해.
• 블록 구조 현상의 근본적인 데이터 및 훈련 요인을 규명하기 위해.
• 목표적 간섭을 통해 블록 구조를 제어하거나 제거할 수 있는지 평가하기 위해.
• 다양한 아키텍처와 훈련 제도에서 블록 구조와 주요 데이터 포인트의 진화 과정을 검토하기 위해.

제안 방법

• 숨겨진 레이어 표현 간 유사도를 측정하고 블록 구조를 식별하기 위해 선형 중심화 커널 일치도(CKA)를 사용하였다.
• 각 레이어 표현의 첫 번째 주성분(PC)이 설명하는 분산 비율을 추정하기 위해 힘의 반복법을 적용하였다.
• 블록 구조 레이어의 첫 번째 PC에 가장 큰 기여를 한 훈련 예제를 분석하여 주요 데이터 포인트를 식별하였다.
• 주요 데이터 포인트의 공통된 이미지 통계(예: 배경 색상)를 기반으로 합성 데이터 포인트를 생성하여 활성화 노름에 미치는 영향을 검증하였다.
• 훈련 중 첫 번째 주성분의 분산을 억제하기 위해 주성분 정규화 기법을 도입하여 블록 구조를 억제하였다.
• Shake-Shake 정규화, 전이 학습, 배치 크기 등의 훈련 방법이 블록 구조의 발생과 표현 일관성에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 블록 구조가 모델 간 일관되지만 랜덤 시드 간에 매우 다름으로 인해 발생하는 모순적 성질을 감안할 때, 무엇이 블록 구조의 원인인가?
• RQ2 공통된 이미지 통계(예: 배경 색상)를 가진 주요 데이터 포인트가 블록 구조의 발생을 이끄는가?
• RQ3 블록 구조는 훈련 과정에서 어떻게 변화하며, 주요 데이터 포인트는 시간이 지남에 따라 어떻게 변화하는가?
• RQ4 성능 저하 없이 목표적 훈련 간섭을 통해 블록 구조를 제거할 수 있는가?
• RQ5 다른 훈련 기법(예: 데이터 증강, 정규화, 전이 학습)은 블록 구조의 존재와 일관성에 어떻게 영향을 미치는가?

주요 결과

• 블록 구조는 배경 색상과 같은 단순한 이미지 통계를 공유하는 소수의 주요 데이터 포인트들에 의해 발생하며, 이들은 은닉 레이어에서 높은 활성화 노름을 유도한다.
• 주요 데이터 포인트와 그 공통 특성은 랜덤 시드에 따라 변하므로, 블록 구조의 일관성은 유지되지만 서로 다름을 설명한다.
• 주요 데이터 포인트를 데이터셋에서 제외하면 블록 구조가 사라지며, 이는 이들이 현상의 인과적 역할을 한다는 것을 확인한다.
• 주요 데이터 포인트의 공통된 이미지 통계를 기반으로 한 합성 예제는 높은 활성화 노름을 재현하여 표현 기하학에 미치는 영향을 검증한다.
• 블록 구조는 훈련 초반에 나타나지만 시간이 지남에 따라 변화하며, 훈련 단계에 따라 다른 주요 데이터 포인트와 표현이 나타난다.
• 첫 번째 주성분의 분산을 총 분산의 20% 이내로 제한하는 주성분 정규화 기법이 성능 저하 없이 블록 구조를 효과적으로 제거하며, 저자료 환경에서는 정확도까지 향상시킨다.