[논문 리뷰] BRUNO: A Deep Recurrent Model for Exchangeable Data

Iryna Korshunova, Jonas Degrave외 4명|arXiv (Cornell University)|2018. 02. 21.

Anomaly Detection Techniques and Applications인용 수 16

한 줄 요약

BRUNO는 고차원 데이터 세트에 대해 정확한 베이지안 추론을 가능하게 하는 딥 리커런트 모델로, 유사성 보존을 위해 스튜던트-t 또는 가우시안 프로세스를 사용하는 잠재 공간으로의 이중사상 변환을 학습한다. 변분 근사 없이 선형 시간 복잡도를 가지며 조건부 생성과 학습을 지원하며, 소수의 예제 분류와 강건한 이상 탐지에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

We present a novel model architecture which leverages deep learning tools to perform exact Bayesian inference on sets of high dimensional, complex observations. Our model is provably exchangeable, meaning that the joint distribution over observations is invariant under permutation: this property lies at the heart of Bayesian inference. The model does not require variational approximations to train, and new samples can be generated conditional on previous samples, with cost linear in the size of the conditioning set. The advantages of our architecture are demonstrated on learning tasks that require generalisation from short observed sequences while modelling sequence variability, such as conditional image generation, few-shot learning, and anomaly detection.

연구 동기 및 목표

• 고차원 관측치(예: 이미지 또는 시계열)의 집합에 대해 증명 가능하게 유사성 보존되는 딥 생성 모델을 개발하는 것.
• 표준 베이지안 딥 러닝에서 흔히 발생하는 사후분포 비가역성 문제를 피하기 위해 변분 근사 없이 정확한 베이지안 추론을 가능하게 하는 것.
• 조건부 관측치 세트를 기반으로 새로운 샘플을 생성할 수 있도록 지원하며, 조건부 집합의 크기와 선형 비용으로 계산되는 것.
• 소수의 예제 분류, 조건부 이미지 생성, 온라인 이상 탐지와 같은 자료 효율적 학습 시나리오에서 모델의 효과성을 입증하는 것.
• 다양한 데이터 세트에서 유사성 설계를 통해 암묵적으로 베이지안 추론을 수행할 수 있도록 메타학습 프레임워크를 제공하는 것.

제안 방법

• 스튜던트-t 또는 가우시안 프로세스를 사용해 잠재 특징 $ z_i \in \mathcal{Z} $ 를 유사성 보존 시퀀스로 모델링함으로써 유사성 보장을 하는 딥 리커런트 신경망 아키텍처인 BRUNO를 제안한다.
• 고차원 관측치(예: 이미지)를 잠재 공간으로 매핑하기 위해 이중사상 신경망 $ \mathcal{X} \to \mathcal{Z} $ 를 사용하며, 여기서 유사성 보존이 분석적으로 다룰 수 있도록 한다.
• 잠재 공간에서 예측 분포 $ p(z_n | z_{1:n-1}) $ 를 명시적으로 정의하고 분석적으로 다룰 수 있도록 하여 고차원 적분을 계산할 필요 없이 처리한다.
• 예측 가능도를 통해 역전파를 수행함으로써 엔드 투 엔드로 모델을 학습시켜 변분 추론 없이 미분 가능한 최적화를 가능하게 한다.
• 실제 NVP 커플링 레이어를 사용하고 가중치 정규화 및 데이터 의존적 초기화를 적용하여 이중사상 매핑의 학습을 안정화시킨다.
• 조건부 생성을 위해 $ p(x_n | x_{1:n-1}) $ 에서 직접 샘플링함으로써 복잡도를 조건부 점수의 수와 선형으로 유지한다.

실험 결과

연구 질문

• RQ1 복잡한 고차원 데이터에 대해 증명 가능하게 유사성 보존되는 딥 신경망을 설계할 수 있는가, 동시에 정확한 베이지안 추론이 가능한가?
• RQ2 변분 근사 없이, 유사성 보존 집합에서 효율적인(선형 시간) 조건부 생성을 어떻게 달성할 수 있는가?
• RQ3 생성적으로 학습된 유사성 보존 모델이 소수의 예제 분류와 같은 후행 분류 과제로 얼마나 잘 일반화되는가?
• RQ4 데이터가 순차적으로 도착하고 집합과의 일관성을 평가해야 하는 온라인 이상 탐지 과제에서 모델의 성능은 어떠한가?
• RQ5 특히 스튜던트-t 프로세스를 사용할 경우, 이중사상 매핑 및 잠재 프로세스 구성 요소의 학습을 안정화시키기 위해 필요한 학습 힌트는 무엇인가?

주요 결과

• 분류기 미세조정 후 BRUNO는 1-shot 5-way Omniglot 분류에서 97.1%의 정확도를 달성했으며, 5-shot 5-way 작업에서는 99.4%를 기록하여 이전 최고 성능 모델을 초월했다.
• 미세조정 없이도 경쟁적인 성능(1-shot 5-way에서 86.3%)을 달성하여 생성 전훈련을 통한 강력한 제로샷 일반화 능력을 입증했다.
• 조건부 관측치 세트가 주어진 경우, 반복적 샘플링이나 변분 근사 없이도 효율적이고 선형 시간 복잡도로 새로운 샘플을 생성할 수 있다.
• 스튜던트-t 프로세스(TP)를 사용한 학습은 가우시안 프로세스(GP)보다 더 강건한 편이었으며, 특히 노이즈가 많거나 이상치가 포함된 학습 입력에서 유사성 보존이 잘 유지되었다. 다만 적절한 초기화를 통해 두 모델 모두 유사한 성능를 보였다.
• 분류기 미세조정이 소수의 예제 분류 정확도를 크게 향상시켰으며, 이는 생성 전훈련이 메타학습을 위한 유용한 인덕티브 바이어스를 포착하고 있음을 시사한다.
• 모델의 설계에 유사성 보장이 내장되어 있어, 시퀀스 길이나 입력 순서에 관계없이 모든 입력으로부터 정보를 통합하는 히든 스테이트를 형성하므로 장기 시퀀스 및 순서에 민감하지 않게 된다.