[논문 리뷰] Linear discriminant initialization for feed-forward neural networks

Marissa Masden, Dev Sinha|arXiv (Cornell University)|2020. 07. 24.

Neural Networks and Applications참고 문헌 14인용 수 5

한 줄 요약

이 논문은 데이터 클래스를 가장 잘 분리하는 선형 판별 분석을 사용하여 피드포워드 신경망의 첫 번째 레이어를 초기화하는 기하학적 접근인 선형 판별 초기화(LDI)를 제안한다. 무작위 초기화를 대체함으로써 LDI는 데이터 기하학성과 더 잘 일치하고 손실 기울기의 더 유리한 골짜기로 초기화되므로, 특히 큰 배치 크기에서 더 빠르게 수렴하고 더 높은 정확도를 달성한다.

ABSTRACT

Informed by the basic geometry underlying feed forward neural networks, we initialize the weights of the first layer of a neural network using the linear discriminants which best distinguish individual classes. Networks initialized in this way take fewer training steps to reach the same level of training, and asymptotically have higher accuracy on training data.

연구 동기 및 목표

• 무작위 가중치 초기화를 기하학적 정보를 반영한 방법으로 대체하여 신경망 학습의 효율성과 정확도를 향상시키는 것.
• 데이터 기하학에 민감한 초기화가 더 빠른 수렴과 더 나은 일반화 성능을 이끌 수 있는지 조사하는 것.
• 기하학적 분석을 통해 학습된 네트워크에서 첫 번째 레이어 가중치가 분류 가능한 특징을 어떻게 캡처하는지 탐색하는 것.
• 로또 티켓 가설에서 제안된 고비용의 가중치 프루닝 방법과 비교해 계산적으로 실현 가능한 대안을 제공하는 것.
• 기하학적 및 토폴로지적 네트워크 분석에서 도출된 통찰을 딥러닝을 위한 실용적인 초기화 기법으로 확장하는 것.

제안 방법

• 입력 데이터 공간에서 각 클래스 쌍을 가장 잘 분리하는 초평면을 계산하기 위해 선형 판별 분석(LDA)을 적용한다.
• LDA에서 유도된 단위 벡수를 피드포워드 네트워크의 첫 번째 레이어에 속한 뉴런의 초기 가중치로 사용한다.
• 각 성공적인 분류 후에 분류된 점들을 제거하고 남은 미분류 데이터 포인트에 대해 LDA를 반복 적용한다.
• 이러한 순차적 과정을 '정렬 게임(Sorting Game)'이라 칭하며, 점점 더 많은 클래스로 데이터 포인트를 정렬하는 초평면의 시퀀스를 생성한다.
• 생성된 초평면의 수 이상의 뉴런을 첫 번째 레이어에 할당하고, 깊은 레이어는 표준 초기화(예: Xavier 또는 He)를 사용한다.
• 모든 초기 가중치는 백프로파게이션 학습 중에 진화하도록 허용하여 기하학적으로 정보가 반영된 상태에서 유연성을 유지한다.

실험 결과

연구 질문

• RQ1 무작위 초기화와 비교해 데이터 기하학에 기반한 초기화가 학습 속도와 최종 정확도를 향상시킬 수 있는가?
• RQ2 선형 판별 분석을 사용한 초기화가 특히 큰 배치 크기 설정에서 더 나은 수렴 성능을 보이는가?
• RQ3 학습된 네트워크에서 첫 번째 레이어 가중치가 데이터 분포의 기하학적 구조를 어느 정도 반영하는가?
• RQ4 무작위성이 아닌 결정론적 초기화 방법이 네트워크 프루닝 없이도 표준 무작위 초기화를 능가할 수 있는가?
• RQ5 제안된 방법은 소규모 네트워크나 단순 아키텍처를 초월해 확장 가능하고 적용 가능한가?

주요 결과

• LDI로 초기화된 네트워크는 동일한 아키텍처를 가진 무작위 초기화 네트워크보다 더 빠르게 수렴하고 더 높은 학습 정확도를 달성한다.
• 성능 향상은 큰 배치 크기에서 더욱 두드러지며, 이는 LDI가 더 유리한 손실 골짜기를 찾는 데 기여함을 시사한다.
• MNIST 데이터셋에서 최적화되지 않은 정렬 게임 알고리즘은 약 170초가 소요되며, 소규모 네트워크의 단일 학습 에포크는 약 17초가 소요된다.
• 완전한 크기의 네트워크를 훈련시키는 데에는 LDI 초기화보다 약 10배 더 오랜 시간이 소요되므로, 학습 대비 계산 효율성이 매우 높다는 것을 시사한다.
• 시그모이드 활성화 함수를 사용할 경우 ReLU보다 성능 향상이 더 두드러지며, 이는 활성화 함수 유형에 민감할 수 있음을 시사한다.
• 첫 번째 레이어 특징 맵에 LDA를 적용해 깊은 레이어를 초기화하는 데에는 성과가 없었으며, 이는 LDI가 첫 번째 레이어에 가장 효과적임을 시사한다.