[논문 리뷰] Progressive Learning for Systematic Design of Large Neural Networks

Saikat Chatterjee, Alireza M. Javid외 3명|arXiv (Cornell University)|2017. 10. 23.

Machine Learning and ELM참고 문헌 27인용 수 24

한 줄 요약

이 논문은 노름 기반 정규화를 사용한 볼록 최적화를 통해 계층과 노드를 점진적으로 추가하면서 대규모 딥 네ural 네트워크를 체계적으로 설계하는 프로그레시브 러닝 네트워크(PLN)를 제안한다. 이 방법은 수동 하이퍼파rameter 조정을 줄이고, 무작위 가중치 행렬을 활용하며, 강력한 일반화 성능을 달성한다 — 예를 들어, 튜닝을 통해 MNIST 정확도를 95.7%에서 98.0%로 향상시키며, 학습 오차가 감소하지 않도록 유지하면서 각 새로운 계층 추가 시 성능 향상이 발생한다.

ABSTRACT

We develop an algorithm for systematic design of a large artificial neural network using a progression property. We find that some non-linear functions, such as the rectifier linear unit and its derivatives, hold the property. The systematic design addresses the choice of network size and regularization of parameters. The number of nodes and layers in network increases in progression with the objective of consistently reducing an appropriate cost. Each layer is optimized at a time, where appropriate parameters are learned using convex optimization. Regularization parameters for convex optimization do not need a significant manual effort for tuning. We also use random instances for some weight matrices, and that helps to reduce the number of parameters we learn. The developed network is expected to show good generalization power due to appropriate regularization and use of random weights in the layers. This expectation is verified by extensive experiments for classification and regression problems, using standard databases.

연구 동기 및 목표

• 대규모 신경망에서 네트워크 깊이와 너비를 선택하는 데 있어 체계적인 설계 원칙의 부족을 해결하기 위해.
• 딥 네트워크 학습 시 수동 하이퍼파rameter 조정과 정규화 노력의 감소를 위해.
• 학습 성능 향상이 일관되게 유지되면서도 좋은 일반화를 촉진하는 방법을 개발하기 위해.
• 진행적 계층 및 노드 추가가 근사 오차 감소와 향상된 테스트 성능를 이끌어내는지 조사하기 위해.
• 무작위 가중치 행렬과 볼록 최적화가 학습 가능한 파라미터 수를 줄이고 일반화 성능를 향상시키는 데 어떤 역할을 하는지 탐색하기 위해.

제안 방법

• 네트워크는 매번 한 계층씩 점진적으로 성장시키며, 각 계층은 최소 제곱법과 노름 기반 정규화를 사용한 볼록 최적화로 최적화된다.
• ReLU와 같은 비선형 활성화 함수를 사용하며, 이는 안정적이고 점진적인 향상을 가능하게 하여 프로그레시브 러닝 성질을 지원한다.
• 일부 노드에 대해 무작위 가중치 행렬을 사용한다 (각 계층의 n_i - 2Q 개 노드), 이로 인해 학습 가능한 파라미터 수가 감소한다.
• 정규화 파ram터 (λ_ls, μ) 는 직관과 이전 실험 경험을 기반으로 제한된 수동 조정으로 튜닝된다.
• 학습 과정은 탐욕적이다: 이전 계층이 고정된 후 각 계층이 별도로 최적화되며, 이는 볼록 부분문제를 보장한다.
• 아키텍처는 적응적으로 진화하며, 성능 향상에 따라 계층 크기와 깊이가 결정된다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크를 체계적이고 점진적으로 성장시키는 방법이 수동 튜닝 없이도 학습 비용을 일관되게 감소시킬 수 있는가?
• RQ2 부분적으로 연결된 계층에서 무작위 가중치 행렬을 사용하면 학습 가능한 파라미터 수가 감소하면서도 일반화 성능가 유지되거나 향상되는가?
• RQ3 새로운 계층을 추가하면 성능 향상이 측정 가능하고 돌연적으로 증가하는가? 이는 더 rich한 특징 표현을 의미하는가?
• RQ4 노름 기반 정규화를 사용한 볼록 최적화가 점진적 네트워크 성장 중에 학습 오차가 감소하지 않도록 하고 안정적인 수렴을 보장할 수 있는가?
• RQ5 표준 벤치마크에서 프로그레시브 네트워크의 일반화 성능가 표준 딥 네트워크와 비교해 어떻게 되는가?

주요 결과

• 튜닝 후 프로그레시브 러닝 네트워크(PLN)는 MNIST 데이터셋에서 기본 설정 시 95.7%에서 98.0%로 정확도가 향상되어, 최소한의 튜닝으로도 뚜렷한 성능 향상을 보였다.
• Letter 데이터셋의 경우 PLN 정확도는 튜닝 후 95.7%에서 97.1%로 향상되어 여러 데이터셋에서 일관된 성능 향상을 보였다.
• 학습 및 테스트 세트 모두에서 계층과 노드가 추가될수록 성능이 일관되게 향상되며, 각 새로운 계층 추가 시 돌연한 점프가 발생하여 특징 표현의 향상이 확인되었다.
• 네트워크 크기가 커질수록 학습 오차와 테스트 오차의 격차가 커지며, 학습 가능한 파라미터 수가 증가함에 따라 일반화 능력이 떨어지는 것으로 확인되었다.
• 학습 과정에서 아키텍처가 자율적으로 조직되며, 일부 계층이 다른 계층보다 더 크게 성장하는 경향을 보여, 데이터 복잡성에 따라 적응적인 깊이 및 너비 선택이 이루어지는 것으로 나타났다.
• 경험 기반 직관을 활용해 최소한의 간섭으로 정규화 및 최적화 파라미터를 설정함으로써 수동 하이퍼파rameter 튜닝 의존도를 줄였다.