[논문 리뷰] Generating Neural Networks with Neural Networks

Lior Deutsch|arXiv (Cornell University)|2018. 01. 06.

Cell Image Analysis Techniques참고 문헌 44인용 수 11

한 줄 요약

이 논문은 정확도와 다양성을 균형 잡힌 손실 함수를 최적화하여, 무작위성에 의존하지 않고 무거운 대칭성까지 고려한 새로운 하이퍼넷워크 훈련 프레임워크를 제안한다. 이는 생성된 가중치가 비자명한 고차원 다양체 위에 놓여 있음을 보여주며, 생성된 네트워크 앙상블이 적대적 예제에 대해 더 강건함을 입증한다.

ABSTRACT

Hypernetworks are neural networks that generate weights for another neural network. We formulate the hypernetwork training objective as a compromise between accuracy and diversity, where the diversity takes into account trivial symmetry transformations of the target network. We explain how this simple formulation generalizes variational inference. We use multi-layered perceptrons to form the mapping from the low dimensional input random vector to the high dimensional weight space, and demonstrate how to reduce the number of parameters in this mapping by parameter sharing. We perform experiments and show that the generated weights are diverse and lie on a non-trivial manifold.

연구 동기 및 목표

• 목표 신경망에 대한 확률적 해석이 필요 없이 다양하고 정확한 신경망 가중치를 생성할 수 있는 하이퍼넷워크 훈련 목표를 개발하는 것.
• 신경망에 자연스러운 데이터 분포가 부족한 문제를 해결하기 위해 정확도와 의미 있는 다양성이라는 목적의 속성에 기반한 손실 함수를 제안하는 것.
• 변분 추론 기반 하이퍼넷워크를 개선하기 위해 정확도-다양성 트레이드오프에 대한 명시적 제어와 다양한 손실 항목의 융통성 있는 설정을 가능하게 하는 것.
• 생성된 가중치가 비자명하고 구조적인 다양체를 이룬다는 것을 입증하여, 고품질의 앙상블를 가능하게 하는 것.
• 생성된 네트워크 앙상블이 적대적 예제에 대해 단일 네트워크보다 더 강건한 성능을 보임을 보여주는 것.

제안 방법

• 정확도와 다양성 항목의 가중치 합으로 하이퍼넷워크 손실를 정의하며, 다양성 항목은 체계적 대칭성 변환(예: 가중치 순열)을 고려한다.
• 저차원의 난수 잠재 벡터를 목표 네트워크의 고차원 가중치 공간으로 매핑하기 위해 다층 퍼셉트론(MLPs)을 사용한다.
• 가중치 생성기의 파rameter 수를 줄이기 위해 하이퍼넷워크 아키텍처에서 파rameter 공유를 적용하여 확장성 향상.
• 정확도와 생성된 가중치의 다양성 모두 최적화하는 방식으로, 백프로파게이션을 사용해 하이퍼넷워크를 엔드 투 엔드로 훈련한다.
• 생성된 네트워크가 비틀림 변환 외부에서 다를 경우에만 다르게 간주하기 위해 대칭성 불변 다양성 측정법을 사용한다.
• 다수결 투표 방식으로 생성된 네트워크의 앙상블을 구성하고, 적대적 강건성과 표준 정확도에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 변분 추론이나 확률 모델링에 의존하지 않고도 하이퍼넷워크가 다양하고 정확한 신경망 가중치를 생성할 수 있는가?
• RQ2 가중치 순열과 같은 비자명한 대칭성 변환은 아키텍처적 차이를 반영하지 않지만, 생성된 가중치의 다양성을 어떻게 의미 있게 측정할 수 있는가?
• RQ3 생성된 가중치가 고차원 가중치 공간에서 비자명하고 저차원 다양체를 형성하는 정도는 어느 정도인가?
• RQ4 하이퍼넷워크로 생성된 네트워크 앙상블이 단일 네트워크보다 적대적 예제에 대해 더 강건한가?
• RQ5 층 간에 통계적으로 종속된 가중치를 생성하는 하이퍼넷워크의 능력이 독립적 층 생성 대비 성능에 어떤 영향을 미치는가?

주요 결과

• 하이퍼넷워크는 높은 검증 정확도를 달성하는 가중치를 성공적으로 생성하였으며, 검증 세트에서 앙상블 정확도가 99.14%에 도달했다.
• PCA 산점도 분석을 통해 생성된 가중치가 비자명하고 구조적인 다양체 위에 놓여 있음을 입증하였으며, 일차원 및 고차원 구조가 뚜렷하게 드러났다.
• 잠재 공간 내부의 선형 보간 경로는 높은 정확도를 유지하여 가중치 공간 내에서 매끄럽고 의미 있는 이동을 가능하게 했으며, 직접 경로의 경우 일부 사례에서 실패함을 확인했다.
• 100개의 하이퍼넷워크로 생성된 분류기 앙상블은 단일 분류기 대비 적대적 공격의 성공률을 낮추어 더 강건한 성능을 보였다.
• 모든 노이즈 크기에서 MNFG 기준 대비 하이퍼넷워크가 더 낮은 적대적 예제 성공률을 기록하여 적대적 강건성에서 뛰어난 성능을 보였다.
• 특정 다양성 손실 선택과 하이퍼파ram터 튜닝을 통해 변분 추론이 특수한 경우로 일반화됨을 입증하였다.