[논문 리뷰] When, where, and how to add new neurons to ANNs

Kaitlin Maile, Emmanuel Rachelson외 2명|arXiv (Cornell University)|2022. 02. 17.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경 발생 기반 트리거와 정보화된 초기화를 사용하여 인공 신경망에 동적으로 뉴런을 추가하는 뉴런 생성 프레임워크인 NORTH*를 소개한다. 학습 중에 네트워크를 언제, 어디서, 어떻게 성장시할지를 결정함으로써, 수동 아키텍처 튜닝 없이도 효율적으로 수렴하는 컴팩트하고 고성능의 아키텍처를 달성한다.

ABSTRACT

Neurogenesis in ANNs is an understudied and difficult problem, even compared to other forms of structural learning like pruning. By decomposing it into triggers and initializations, we introduce a framework for studying the various facets of neurogenesis: when, where, and how to add neurons during the learning process. We present the Neural Orthogonality (NORTH*) suite of neurogenesis strategies, combining layer-wise triggers and initializations based on the orthogonality of activations or weights to dynamically grow performant networks that converge to an efficient size. We evaluate our contributions against other recent neurogenesis works across a variety of supervised learning tasks.

연구 동기 및 목표

• 학습 중에 뉴런을 동적으로 추가하는 문제인 뉴런 생성 문제를 아직 잘 탐색되지 않은 문제로 간주하고, 이를 트리거와 초기화로 분해한다.
• 언제, 어디서, 어떻게 뉴런을 추가할지를 해결할 수 있는 프레임워크를 개발하여 네트워크의 효율성과 성능을 향상시킨다.
• 활성화 또는 가중치의 직교성이 뉴런 생성을 위한 효과적이고 확장 가능한 트리거 및 초기화 전략이 될 수 있는지 평가한다.
• 동적 뉴런 생성이 수동 하이퍼파라미터 튜닝 없이도 정적 아키텍처에 뒤지지 않는 컴팩트하고 고성능의 네트워크를 생성할 수 있음을 보여준다.

제안 방법

• 뉴런 생성을 두 가지 구성 요소로 분해한다: 트리거(언제, 어디서 뉴런을 추가할지)와 초기화(새로운 뉴런의 가중치를 어떻게 설정할지).
• 작업 배치 내에서 후행 활성화 벡터의 직교성을 측정하여 새로운 뉴런이 필요한 시점을 감지하는 활성화 직교성 기반 트리거를 제안한다.
• 가중치 행렬의 직교성을 평가하여 계층별로 뉴런 추가를 안내하는 가중치 직교성 기반 트리거를 도입한다.
• 새로운 뉴런 파라미터 방향의 기울기 크기를 평가하여 학습 잠재력을 감지하는 기울기 기반 트리거를 사용한다.
• 기존 네트워크 구성 요소와의 직교 관계를 유지하기 위해 직교성 유지 초기화를 사용하여 새로운 뉴런의 가중치를 설정한다.
• 모든 기울기 업데이트 후에 트리거를 적용하여 사전 정의된 스케줄 없이도 학습 전반에 걸쳐 동적이고 적응적인 뉴런 추가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 활성화 또는 가중치의 직교성이 동적 뉴런 추가를 위한 효과적이고 확장 가능한 트리거로 기능할 수 있는가?
• RQ2 특히 직교성 기반 초기화와 무작위 또는 기울기 기반 초기화의 선택이 동적으로 성장한 네트워크의 성능과 수렴에 어떤 영향을 미치는가?
• RQ3 학습 중에 네트워크를 성장시키는 뉴런 생성 전략이 수동 아키텍처 탐색 없이도 정적 아키텍처보다 더 컴팩트하고 성능이 뛰어난가?
• RQ4 다양한 트리거 빈도와 하이퍼파라미터(예: 후보 수, 활성화 버퍼 크기)가 뉴런 생성의 효율성과 효과성에 어떤 영향을 미치는가?
• RQ5 기울기 정보가 신뢰할 수 없는 지속적 학습 또는 비지도 학습 환경으로 뉴런 생성을 확장할 수 있는가?

주요 결과

• NORTH* 전략은 다양한 지도 학습 작업에서 컴팩트하면서도 높은 성능을 내는 네트워크를 달성하여, 기준 정적 아키텍처보다 모델 효율성과 정확도 측면에서 뛰어나다.
• 활성화 및 가중치 직교성을 트리거로 사용함으로써 뉴런 생성이 이르기 시작하는 단계에서의 중복 뉴런을 방지한다.
• GPU 효율성 측면에서 기울기 기반 뉴런 생성 방법보다 NORTH*가 뛰어나지만, 계산 비용의 상충 관계로 인해 CPU에서는 후자가 더 효과적일 수 있다.
• 이 프레임워크는 기능을 유지하는 뉴런 추가를 가능하게 하여, 새로운 뉴런이 즉각적으로 네트워크 출력에 영향을 주지 않고 기울기 업데이트를 통해 학습한다.
• 직교성 기반 초기화는 Firefly나 NeST와 같은 기능적 초기화 방법과 달리 손실 곡면에 파괴적인 변화의 위험을 줄인다.
• 결과는 뉴런 생성이 비용이 많이 드는 슈퍼넷이나 반복적인 수동 튜닝이 필요 없는 신경망 아키텍처 탐색의 환경적 비용을 줄일 수 있음을 시사한다.