[논문 리뷰] Neural networks with differentiable structure

Thomas Miconi|arXiv (Cornell University)|2016. 06. 20.

Advanced Neural Network Applications참고 문헌 4인용 수 10

한 줄 요약

이 논문은 L1 정규화를 사용하여 출력 가중치에 대해 미분 가능한 방법을 제안하여, 순환 신경망을 동적으로 조정 가능한 아키텍처로 훈련시키는 방법을 제시한다. 이 방법은 기울기 기반의 프루닝과 뉴런 증식을 가능하게 하며, 과제의 복잡성에 따라 네트워크가 자동으로 크기를 확장하거나 축소할 수 있도록 한다. 이는 구조적 최적화를 통해 고정 크기의 네트워크보다 순차 예측 과제에서 더 뛰어난 성능을 내는 데 기여한다.

ABSTRACT

While gradient descent has proven highly successful in learning connection weights for neural networks, the actual structure of these networks is usually determined by hand, or by other optimization algorithms. Here we describe a simple method to make network structure differentiable, and therefore accessible to gradient descent. We test this method on recurrent neural networks applied to simple sequence prediction problems. Starting with initial networks containing only one node, the method automatically builds networks that successfully solve the tasks. The number of nodes in the final network correlates with task difficulty. The method can dynamically increase network size in response to an abrupt complexification in the task; however, reduction in network size in response to task simplification is not evident for reasonable meta-parameters. The method does not penalize network performance for these test tasks: variable-size networks actually reach better performance than fixed-size networks of higher, lower or identical size. We conclude by discussing how this method could be applied to more complex networks, such as feedforward layered networks, or multiple-area networks of arbitrary shape.

연구 동기 및 목표

• 기울기 하강법을 통해 연결 가중치 외에도 뉴런 수와 연결성과 같은 네트워크 구조까지 최적화할 수 있도록 하는 것.
• 딥러닝에서 네트워크 아키텍처가 일반적으로 수동으로 설계되거나 비미분 가능한 방법으로 최적화되는 한계를 해결하는 것.
• 동적으로 성장하는 네트워크가 성능 및 샘플 효율성 측면에서 고정 크기의 네트워크를 능가할 수 있는지 탐색하는 것.
• 네트워크 구조를 미분 가능하게 만들고, 백프로파게이션을 통한 엔드 투 엔드 훈련이 가능하도록 하는 방법을 개발하는 것.
• 기울기 기반 최적화를 통해 과제 복잡성의 변화에 대응하여 네트워크의 구조를 적응적으로 조정할 수 있는지의 타당성을 입증하는 것.

제안 방법

• 각 뉴런의 출력 가중치에 L1 정규화를 도입하여 희박한 활성 연결성을 유도하고, 출력 기여도가 미미할 경우 뉴런의 '소프트 삭제'를 촉진한다.
• 총 출력 가중치 노름이 이 값 이하인 뉴런을 삭제 대상으로 표시하기 위해 삭제 임계값 $T_D$ 를 정의한다.
• 하위 임계값 뉴런의 수를 고정된 수 $k$ 로 유지한다. 만약 $k$개를 초과하면, 확률 $P_{\text{del}}$ 에 따라 초과 뉴런을 확률적으로 삭제한다.
• 하위 임계값 뉴런 수가 $k$개 미만일 경우, 무작위 초기 가중치를 가진 새로운 뉴런을 추가하며, 그 출력 L1-노름이 $T_D$ 와 동일하도록 하여 초기 영향을 최소화한다.
• 확률적 추가 및 삭제를 통해 훈련을 안정화하고 급격한 구조적 변화를 방지함으로써 부드러운 적응을 가능하게 한다.
• 단일 뉴런에서 시작하여 '구조 증강' 원칙을 따르며, 필요에 따라만 네트워크가 성장하도록 한다.

실험 결과

연구 질문

• RQ1 특히 뉴런 수와 같은 네트워크 아키텍처가 기울기 하강법을 통해 최적화될 수 있도록 미분 가능하게 만들 수 있는가?
• RQ2 동적으로 성장하는 네트워크 아키텍처가 순차 예측 과제에서 고정 크기의 네트워크보다 성능이 뛰어나게 되는가?
• RQ3 과제 복잡성이 갑작스럽게 증가할 경우 네트워크가 자동으로 크기를 조절할 수 있는가?
• RQ4 기울기 기반 최적화에 의해 이뤄지는 구조적 적응이 네트워크 크기와 과제 난이도 간의 상관관계를 효과적으로 반영하는가?
• RQ5 이 방법을 피드포워드 또는 다중 영역 네트워크와 같은 더 복잡한 아키텍처로 확장할 수 있는가?

주요 결과

• 변동 크기의 네트워크는 테스트된 모든 고정 크기 네트워크(37개 뉴런) 중에서도 중앙값 교차 엔트로피 손실가 낮아, 구조적 적응성 덕분에 뛰어난 성능을 보였다.
• 간단한 과제에서는 100,000개의 훈련 사이클 후 14개 뉴런으로 안정화되었고, 어려운 과제에서는 37개 뉴런으로 성장하여 과제 난이도에 따른 크기 적응을 보였다.
• 33,000개의 사이클 이후 과제 복잡성이 갑작스럽게 어려운 수준으로 증가하자 네트워크는 성공적으로 뉴런 수를 늘렸고, 이후 복잡성이 원래 수준으로 돌아오자 다시 수축하면서 성능을 유지했다.
• 이 방법은 성능 저하 없이 동적 구조적 변화를 가능하게 하여, 급격한 과제 변화에 대한 강건성을 입증했다.
• 과제 요구에 따라 네트워크가 크기를 증가시키고 감소시키는 능력은 기울기 기반 최적화를 통한 구조 최적화가 정적 설계보다 더 효율적인 아키텍처를 만들어낼 수 있음을 시사한다.
• 결과는 '구조 증강'—작은 크기에서 시작하여 필요에 따라만 성장하는 방식—이 학습 성능 향상에 기여할 수 있다는 가설을 지지한다.