[논문 리뷰] Deep Curvature Suite

Diego Granziol, Xingchen Wan외 1명|arXiv (Cornell University)|2019. 12. 20.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 4

한 줄 요약

딥 커브처 스위트는 랑츠 알고리즘과 무작위 벡터를 사용하여 딥 네URAL 네트워크의 헤시안 및 일반화된 가우스-뉴턴(GGN) 행렬에 대한 효율적이고 정확한 스펙트럼 분석을 가능하게 하는 파이토치 기반의 오픈소스 소프트웨어 패키지입니다. 이는 기존 도구보다 최대 10배 빠른 속도로 고정밀도 커브처 추정을 제공하며, 고유값 계산에 대한 널리 퍼진 오해를 수정하고, 고차원 농도 부등식을 통한 스펙트럼 추정의 타당성을 검증합니다.

ABSTRACT

We present MLRG Deep Curvature suite, a PyTorch-based, open-source package for analysis and visualisation of neural network curvature and loss landscape. Despite of providing rich information into properties of neural network and useful for a various designed tasks, curvature information is still not made sufficient use for various reasons, and our method aims to bridge this gap. We present a primer, including its main practical desiderata and common misconceptions, of extit{Lanczos algorithm}, the theoretical backbone of our package, and present a series of examples based on synthetic toy examples and realistic modern neural networks tested on CIFAR datasets, and show the superiority of our package against existing competing approaches for the similar purposes.

연구 동기 및 목표

• 실제 딥 러닝 모델에서 커브처 정보(헤시안 및 GGN 스펙트럼)를 계산하는 데 접근 가능하고, 효율적이며 정확한 도구의 부족을 보완하기 위해.
• 랜츠 알고리즘이 고유값을 상단에서 하단으로 계산한다는 오해와 같은 문헌에서 퍼진 오해를 바로잡기 위해.
• 연구자와 실무자가 현대 네트워크의 커브처, 손실 표면, 최적화 역학을 분석할 수 있도록 실용적이고 확장 가능하며 철저히 문서화된 소프트웨어 스위트를 제공하기 위해.
• 대칭 행렬의 대각 근사가 합성 및 실제 데이터셋에서 임의로 나쁜 결과를 낼 수 있음을 보여줌으로써, 커브처 행렬의 대각 근사의 한계를 입증하기 위해.
• 고차원 농도 부등식을 이용한 스펙트럼 추정의 이론적 기반을 확립하여, 특정 조건 하에서 단일 무작위 벡터로도 정확한 스펙트럼 근사가 가능함을 증명하기 위해.

제안 방법

• 직교 반복 및 크릴로프 부분공간 방법을 활용하여, 무작위 시드 벡터를 사용한 랑츠 알고리즘을 적용해 헤시안 및 GGN 스펙트럼의 순간 일치 이산 근사를 계산합니다.
• 자동 미분(파이토치)을 통한 빠른 헤시안-벡터 곱셈을 활용해 명시적 헤시안 계산을 피함으로써 대규모 모델로의 확장성을 확보합니다.
• 고차원 농도 부등식을 적용하여, 특정 행렬 클래스에 대해 단일 무작위 벡터로도 정확한 스펙트럼 추정이 가능함을 이론적으로 정당화합니다.
• 헤시안 및 GGN의 고유벡터를 따라 이동함으로써 손실 표면을 시각화하여 극단적 방향에서의 손실과 정확도 변화를 분석합니다.
• 수치적 안정성과 성능을 확보하기 위해, GPyTorch의 최적화된 랑츠 구현과 통합하여 대규모 모델에 특히 유리합니다.
• CIFAR-10 및 CIFAR-100에서의 실제 모델과 고유값 분포가 알려진 합성 행렬을 사용하여 커브처 근사를 검증합니다.

실험 결과

연구 질문

• RQ1 고차원 딥 러닝 모델에서 단일 무작위 벡터가 헤시안 또는 GGN의 신뢰할 수 있는 스펙트럼 근사를 제공할 수 있는가?
• RQ2 일반적인 커브처 행렬의 대각 근사와 전체 스펙트럼 추정 간의 정확도와 대표성은 어떻게 비교되는가?
• RQ3 손실 표면 기하학에 대한 일반적인 가정(예: 스피너 글라스 모델, 무작위 행렬 이론)이 실제 딥 네URAL 네트워크에 얼마나 적용되는가?
• RQ4 왜 이전 연구에서 대각 근사나 제한된 고유분해에 의존한 연구들이 진정한 커브처 지형을 포착하지 못했는가?
• RQ5 극단적 곡률 방향에서 훈련 손실과 테스트 손실 표면은 어떻게 다를 수 있으며, 이는 일반화와 최적화에 어떤 함의를 갖는가?

주요 결과

• 랜츠 알고리즘과 무작위 벡터를 사용한 결과, 헤시안 및 GGN의 순간 일치 스펙트럼 근사가 도출되었으며, 합성 및 실제 딥 러닝 모델 모두에서 정확도가 검증되었습니다.
• 헤시안 또는 GGN의 대각 근사는 합성 행렬과 VGG-16, ResNet-18 등의 실제 네트워크에서 임의로 나쁜 결과를 낼 수 있음을 입증했습니다.
• 헤시안의 스무스닝된 스펙트럼 순간은 커널 스무스닝으로 인해 편향을 띠며, 고차수 순간일수록 편향이 커지고, 양수 고유값에 대해서는 양의 편향을 가집니다.
• 훈련 손실 표면과 테스트 손실 표면은 단순한 이동 관계가 아님을 입증하였으며, 극단적 고유벡터는 훈련 세트와 테스트 세트에서 손실 변화에 상당한 차이를 일으킵니다. 이는 이전의 가정을 도전합니다.
• 딥 커브처 스위트는 VGG-16 및 ResNet-18와 같은 현대 아키텍처에서 단일 GPU로 몇 분 내에 전체 헤시안 및 GGN 스펙트럼을 계산할 수 있으며, 경쟁 도구보다 최대 10배 빠른 성능을 기록합니다.
• 단일 무작위 벡터를 통한 스펙트럼 추정은 고차원 농도 부등식을 통해 이론적으로 정당화되었으며, 특정 행렬 클래스에 대해 그 타당성이 입증되었습니다.