[논문 리뷰] Weight Agnostic Neural Networks

Adam Gaier, David Ha|arXiv (Cornell University)|2019. 01. 01.

Neural Networks and Applications참고 문헌 116인용 수 77

한 줄 요약

이 논문은 기존 학습 과정을 거치지 않고도 무작위로 초기화된 가중치로 작업을 해결할 수 있는 신경망 아키텍처를 발견하는 Weight Agnostic Neural Networks (WANNs)를 소개한다. 다양한 공유된 무작위 가중치에 걸쳐 성능을 최적화함으로써, 최소화된 고성능 아키텍처를 발견하며, 이는 예를 들어 MNIST에서 약 92%의 정확도와 연속 제어 작업에서 높은 보상 수준을 달성함으로써, 아키텍처 자체가 효과적인 해결책을 인코딩할 수 있음을 보여준다.

ABSTRACT

Not all neural network architectures are created equal, some perform much better than others for certain tasks. But how important are the weight parameters of a neural network compared to its architecture? In this work, we question to what extent neural network architectures alone, without learning any weight parameters, can encode solutions for a given task. We propose a search method for neural network architectures that can already perform a task without any explicit weight training. To evaluate these networks, we populate the connections with a single shared weight parameter sampled from a uniform random distribution, and measure the expected performance. We demonstrate that our method can find minimal neural network architectures that can perform several reinforcement learning tasks without weight training. On a supervised learning domain, we find network architectures that achieve much higher than chance accuracy on MNIST using random weights. Interactive version of this paper at https://weightagnostic.github.io/

연구 동기 및 목표

• 학습된 가중치 없이도 신경망 아키텍처만으로도 복잡한 작업을 효과적으로 해결할 수 있는지 조사하기 위해.
• 가중치 최적화보다 아키텍처의 인덕티브 바이어스를 우선시하는 검색 방법을 개발하기 위해.
• 잘 설계된 아키텍처와 함께 무작위로 초기화된 가중치가 높은 성능을 낼 수 있는지 평가하기 위해.
• 최소한의 아키텍처가 강화학습 및 지도학습을 포함한 다양한 작업에서 뛰어난 성능을 달성할 수 있는지 보여주기 위해.
• 특정 작업에 내재된 능력을 지닌 아키텍처를 식별함으로써 기울기 기반 학습 방법 외의 연구를 장려하기 위해.

제안 방법

• 모든 가중치를 하나의 공유된 무작위 매개변수로 간주하는 검색 프레임워크를 제안하며, 이는 고정된 범위에서 균일하게 샘플링된다.
• 각 아키텍처의 성능을 여러 무작위 가중치 값에 대한 평균 성능으로 평가하고, 이 분포에 대한 기대 성능을 최적화한다.
• NEAT에 영향을 받아 신경망의 노드, 연결, 활성화 함수를 변경하는 연산을 포함한 신경진화 기반 접근법을 사용하여 아키텍처를 진화시킨다.
• 토너먼트 선택 및 변이 연산자를 활용하여 가중치 적응에 의존도를 최소화하면서 아키텍처 공간을 탐색한다.
• 강화학습 작업(스윙업 카트폴, 바이페달 워커, 카 레이싱)과 지도학습(MNIST) 모두에 이 검색을 적용한다.
• 아키텍처의 가중치 초기화에 대한 강건성 평가를 위해 평가 중에 모든 연결에 대해 동일한 공유된 가중치 값을 사용한다.

실험 결과

연구 질문

• RQ1 학습된 가중치 없이도 신경망 아키텍처만으로도 복잡한 강화학습 작업을 해결할 수 있는가?
• RQ2 잘 설계된 아키텍처와 함께 무작위로 초기화된 가중치가 얼마나 높은 성능을 낼 수 있는가?
• RQ3 MNIST와 같은 지도학습 작업에서 확률 수준(10%)보다 훨씬 높은 성능을 달성할 수 있는 최소한의 아키텍처를 발견할 수 있는가?
• RQ4 기본 기준 모델과 비교했을 때, 무작위 가중치에 의존하지 않는 아키텍처의 성능은 벤치마크 작업에서 어떻게 되는가?
• RQ5 다양한 무작위 가중치에 걸쳐 성능을 최적화함으로써 어떤 아키텍처의 인덕티브 바이어스가 도출되는가?

주요 결과

• 이 방법은 학습 없이도 바이페달 워커 및 카 레이싱과 같은 연속 제어 작업에서 높은 성능을 내는 최소한의 신경망 아키텍처를 발견하며, 평균 수익이 각각 300 이상, 500 이상을 초과한다.
• MNIST 데이터셋에서 WANN은 랜덤 가중치만을 사용하여 테스트 정확도 약 92%를 달성했으며, 이는 10%의 우연한 확률 수준보다 훨씬 높다.
• 가장 뛰어난 성능을 보인 WANN 아키텍처는 다양한 공유된 가중치 값에 걸쳐 강건한 성능을 보이며, 최상위 네트워크는 공유 가중치가 ±2와 같은 극단적인 값일 때조차도 높은 성능을 유지한다.
• 정책 기반 강화학습 방법을 통해 공유 가중치 매개변수를 미세 조정하면 성능이 더욱 향상되며, 이는 아키텍처가 학습을 최소화해도 개선 가능한 강력한 인덕티브 바이어스를 지닌다는 것을 시사한다.
• 기본 기준 모델이 전체 가중치 학습을 사용하더라도 일부 작업(예: 바이페달 워커)에서 WANN이 더 뛰어난 성능을 내는 것을 확인하여, 아키텍처에 강력한 인덕티브 바이어스가 내장되어 있음을 보여준다.
• 이 방법은 크기가 작고 효과적인 아키텍처를 성공적으로 발견하였으며, MNIST WANN는 표준 네트워크의 5% 미만의 연결만을 사용하면서도 거의 최상위 성능(SoTA)을 달성한다.