[논문 리뷰] Probabilistic Meta-Representations Of Neural Networks

Theofanis Karaletsos, Peter Dayan외 1명|arXiv (Cornell University)|2018. 10. 01.

Neural Networks and Applications인용 수 14

한 줄 요약

이 논문은 신경망의 단위들이 공유된 잠재 공간에 임bed된 확률적 메타-표현을 제안하며, 하이퍼넷워크를 통해 이러한 임베딩에서 조건부로 가중치가 생성된다. 이 접근법은 구조화된 가중치 상관관계를 유도하고 베이지안 복잡도 정규화 기능을 수행하며, 분포 이탈 상황에서도 일반화 성능을 향상시킨다. 이는 과제별 아키텍처 수정 없이도 적응형 성능을 발휘한다.

ABSTRACT

Existing Bayesian treatments of neural networks are typically characterized by weak prior and approximate posterior distributions according to which all the weights are drawn independently. Here, we consider a richer prior distribution in which units in the network are represented by latent variables, and the weights between units are drawn conditionally on the values of the collection of those variables. This allows rich correlations between related weights, and can be seen as realizing a function prior with a Bayesian complexity regularizer ensuring simple solutions. We illustrate the resulting meta-representations and representations, elucidating the power of this prior.

연구 동기 및 목표

• 베이지안 신경망에서 독립적인 가중치 사전분포의 한계를 해결하기 위해, 가중치 간의 의미 있는 상관관계를 포착하지 못하는 문제를 해결한다.
• 신경망 단위의 잠재 임베딩을 통해 무거운 구조적 패턴을 유도하는 계층적 확률 모델을 개발한다.
• 메타-표현, 기능, 관측 불확실성의 세 수준에서의 불확실성 모델링을 가능하게 한다.
• 온라인에서 작동하고, 구조적으로 가중치를 조작할 수 있으며, 분포 이탈 상황에서도 일반화가 가능한 자율적이고 통합된 베이지안 신경망 사전분포를 만든다.
• 메타학습, 가우시안 프로세스, 프로그램 유도의 개념을 통합하여, 확장 가능한 가중치 사전분포 설계를 위한 일관되고 스케일링 가능한 프레임워크를 구축한다.

제안 방법

• 신경망의 단위들은 공유된 구조적 잠재 공간에서 추출된 잠재 변수(메타-표현)에 할당된다.
• 가중치와 편향은 하이퍼넷워크를 통해 이러한 잠재 변수에서 조건부로 생성되며, 이로써 구조적이고 상관관계가 있는 가중치 분포가 가능해진다.
• 모델은 하이퍼넷워크를 통해 가중치의 결합 분포가 잠재 임베딩을 통해 인수분해되는 계층적 사전분포를 사용하며, 이는 복잡한 기능 공간 정규화를 가능하게 한다.
• 변분 추론 프레임워크를 사용하여 사후분포를 근사하며, 증거 하한(lower bound, ELBO)를 최적화하여 모델을 학습시킨다.
• 하이퍼넷워크는 단위 임베딩을 전체 가중치 행렬로 매핑하는 생성 모델로 작용하며, 이는 네트워크 파라미터의 압축되고 분산된 표현을 가능하게 한다.
• 이 방법은 CNN에서의 상위지역적 가중치 공유를 일반화하여, 메타-표현 공간에서 기하학적이지 않은, 학습된 구조를 허용한다.

실험 결과

연구 질문

• RQ1 독립적인 가중치 사전분포에 비해, 구조적이고 계층적인 사전분포가 신경망 가중치에 적용될 경우 일반화 성능과 불확실성 캘리브레이션에 향상이 이루어지는가?
• RQ2 신경망 단위의 잠재 임베딩을 어떻게 활용하여 상관관계가 있고 기능적으로 의미 있는 가중치 분포를 생성할 수 있는가?
• RQ3 이 메타-표현이 분포 이탈 및 분포 외 일반화에 얼마나 적응할 수 있는가?
• RQ4 이 프레임워크는 메타-표현, 기능, 관측의 다중 수준에서 불확실성 정량화를 지원할 수 있는가?
• RQ5 성능와 인덕티브 바이어스 측면에서, 이 접근법은 앙상블 방법이나 표준 베이지안 신경망과 비교해 어떻게 다를 수 있는가?

주요 결과

• 제안된 메타-표현은 은닉층의 입력 및 출력 가중치에 복잡하고 구조적인 상관관계를 유도하며, 이는 기존의 독립 사전분포로는 포착되지 않는다.
• 모델은 분포 이탈 상황에서 일반화 성능이 향상되며, 예를 들어 퍼미uted MNIST 벤치마크에서 단위 임베딩을 새로운 데이터 분포에 재정렬함으로써 이를 실현한다.
• 계층적 구조는 기능 공간 내에서 효과적인 복잡도 제어를 가능하게 하며, 더 단순하고 더 구조적인 해를 선호하는 베이지안 정규화 기능을 수행한다.
• 하이퍼넷워크 기반의 가중치 생성은 네트워크 파라미터의 압축되고 분산된 표현을 가능하게 하며, 가중치 공간의 효과적 차원을 감소시킨다.
• 모델은 다중 수준의 불확실성 정량화를 지원하며, 메타-표현, 기능, 관측의 불확실성 간의 차이를 명확히 구분할 수 있다.
• 이 방법은 프로그램 유사한 해석을 가능하게 하며, 하이퍼넷워크가 단위 임베딩을 기능적 네트워크 행동으로 번역하는 인터프리터 역할을 한다.