[논문 리뷰] Constructing deep neural networks by Bayesian network structure learning

Raanan Y. Rohekar, Shami Nisimov외 3명|arXiv (Cornell University)|2018. 12. 03.

Machine Learning and Data Classification참고 문헌 48인용 수 6

한 줄 요약

이 논문은 깊이와 파라미터 수를 감소시킨 채로 자동으로 딥 네ural 네트워크를 구축하기 위해 베이지안 네트워크 구조 학습 방법을 제안한다. 생성적 그래프를 학습하고, 그의 확률적 역함수를 적용하며, 분류적 구조를 유도함으로써 조건부 종속성을 유지하고, 이미지 벤치마크에서 현저히 작은 네트워크로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

We introduce a principled approach for unsupervised structure learning of deep neural networks. We propose a new interpretation for depth and inter-layer connectivity where conditional independencies in the input distribution are encoded hierarchically in the network structure. Thus, the depth of the network is determined inherently. The proposed method casts the problem of neural network structure learning as a problem of Bayesian network structure learning. Then, instead of directly learning the discriminative structure, it learns a generative graph, constructs its stochastic inverse, and then constructs a discriminative graph. We prove that conditional-dependency relations among the latent variables in the generative graph are preserved in the class-conditional discriminative graph. We demonstrate on image classification benchmarks that the deepest layers (convolutional and dense) of common networks can be replaced by significantly smaller learned structures, while maintaining classification accuracy—state-of-the-art on tested benchmarks. Our structure learning algorithm requires a small computational cost and runs efficiently on a standard desktop CPU.

연구 동기 및 목표

• 수동 설계 없이 원칙적이고 비지도 학습 기반의 딥 네럴 네트워크 아키텍처 학습 방법을 개발하기 위해.
• 네트워크의 깊이와 계층 간 연결성을 입력 데이터 분포의 조건부 독립성의 계층적 인코딩으로 해석하기 위해.
• 표준 네트워크의 합성곱 및 밀집 계층의 크기를 줄이되 분류 성능를 유지하기 위해.
• 생성적 그래프에서 분류적 그래프로 변환할 때 잠재 변수 간의 조건부 종속성 구조를 유지하기 위해.
• 표준 데스크톱 CPU에서 최소한의 계산 오버헤드로 효율적인 구조 학습을 가능하게 하기 위해.

제안 방법

• 딥 네럴 네트워크 구조 학습을 베이지안 네트워크 구조 학습 문제로 재정의하여 확률적 그래픽 모델의 잠재력을 활용한다.
• 먼저 입력 데이터 분포의 조건부 독립성을 인코딩하는 생성적 그래픽 모델을 학습한다.
• 잠재 변수를 관측 가능한 출력으로 매핑하기 위해 생성적 그래프의 확률적 역함수를 구성한다.
• 생성적 구조에서 유도된 분류적 그래프를 통해 잠재 변수 간의 조건부 종속성이 유지되도록 한다.
• 생성적 모델의 확률적 구조를 활용하여 직접적인 분류적 구조 학습을 피한다.
• 최종 네트워크 아키텍처는 학습된 분류적 그래프에서 파생되며, 깊이와 연결성은 기반 조건부 독립성 구조에 의해 결정된다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크 구조 학습을 통해 원칙적이고 비지도 방식으로 딥 네럴 네트워크 아키텍처를 학습할 수 있는가?
• RQ2 생성적 그래프에서 분류적 그래프로의 조건부 종속성 유지가 분류 성능를 유지하거나 향상시키는가?
• RQ3 결과로 도출된 네트워크가 표준 아키텍처보다 현저히 작아질 수 있는가, 동시에 최신 기술 수준의 정확도를 달성하는가?
• RQ4 제안된 방법은 표준 하드웨어에서 실용적인 구현에 충분히 계산 효율적인가?
• RQ5 학습된 네트워크의 깊이와 연결성은 입력 데이터의 조건부 독립성 구조와 어떻게 관련이 있는가?

주요 결과

• 제안된 방법은 표준 아키텍처에 비해 가장 깊은 계층의 파라미터 수를 현저히 줄여 깊이 있는 딥 네럴 네트워크를 성공적으로 구축한다.
• 학습된 네트워크는 테스트된 이미지 분류 벤치마크에서 최신 기술 수준의 분류 정확도를 유지한다.
• 생성적 모델에서의 잠재 변수 간 조건부 종속성 관계가 결과로 도출된 분류적 네트워크로도 유지된다.
• 구조 학습 알고리즘이 표준 데스크톱 CPU에서 낮은 계산 비용으로 효율적으로 실행된다.
• 최종 네트워크의 깊이와 연결성은 입력 데이터 분포의 조건부 독립성 구조에 의해 본질적으로 결정된다.