[논문 리뷰] Towards Building Deep Networks with Bayesian Factor Graphs

Amedeo Buonanno, F. Palmieri|arXiv (Cornell University)|2015. 02. 16.

Bayesian Modeling and Causal Inference참고 문헌 40인용 수 4

한 줄 요약

이 논문은 감소 정규형(FGrn)을 갖는 베이지안 인자 그래프 기반의 딥 러닝 아키텍처를 제안하며, 2차원 격자 위에서 계층적 잠재변수모델(LVMs)을 사용하여 이미지의 다수준 표현을 학습한다. 국소적 믿음 전파와 SISO 블록 내 학습을 통해, 비지도 표현 학습, 패턴 복원, 그리고 미리 보지 않은 데이터에 대한 강력한 일반화 능력을 갖춘 유연하고 모odu러한 딥 네트워크를 가능하게 한다.

ABSTRACT

We propose a Multi-Layer Network based on the Bayesian framework of the Factor Graphs in Reduced Normal Form (FGrn) applied to a two-dimensional lattice. The Latent Variable Model (LVM) is the basic building block of a quadtree hierarchy built on top of a bottom layer of random variables that represent pixels of an image, a feature map, or more generally a collection of spatially distributed discrete variables. The multi-layer architecture implements a hierarchical data representation that, via belief propagation, can be used for learning and inference. Typical uses are pattern completion, correction and classification. The FGrn paradigm provides great flexibility and modularity and appears as a promising candidate for building deep networks: the system can be easily extended by introducing new and different (in cardinality and in type) variables. Prior knowledge, or supervised information, can be introduced at different scales. The FGrn paradigm provides a handy way for building all kinds of architectures by interconnecting only three types of units: Single Input Single Output (SISO) blocks, Sources and Replicators. The network is designed like a circuit diagram and the belief messages flow bidirectionally in the whole system. The learning algorithms operate only locally within each block. The framework is demonstrated in this paper in a three-layer structure applied to images extracted from a standard data set.

연구 동기 및 목표

• 베이지안 인자 그래프 기반의 탄력적이고 모듈러한 딥 네트워크 아키텍처를 개발하여 계층적 표현 학습을 수행한다.
• 국소적 메시지 전달과 믿음 전파를 통해 이미지 데이터에서 비지도 학습과 추론을 가능하게 한다.
• 부분적 또는 새로운 테스트 데이터를 사용할 때 모델의 패턴 복원 및 일반화 능력을 입증한다.
• FGrn 프레임워크 내에서 다양한 척도에서 사전 지식과 지도 학습 신호를 통합할 수 있는지를 탐색한다.
• 완전히 국소화된 학습과 메시지 전달 메커니즘을 통해 계산 효율적이고 분산 계산에 적합한 아키텍처를 확립한다.

제안 방법

• 아키텍처는 각각 감소 정규형(FGrn)의 SISO 블록으로 구현된 잠재변수모델(LVMs)의 4분할 트리 계층으로 구성된다.
• 각 LVM 블록은 국소 통계를 기반으로 한 지역적 학습을 수행하며, 합-곱 믿음 전파를 사용한다.
• 네트워크는 다층 시스템으로 구성되며, 높은 층은 복제기 및 소스 유닛을 통해 낮은 층의 특징을 조합한다.
• 이중 방향 믿음 전파를 통해 추론이 수행되며, 생성적, 판별적, 복원 모드를 모두 지원한다.
• 학습은 완전히 국소화되어 있으며, 각 SISO 블록은 지역 데이터와 메시지 전달 통계를 기반으로 자체 매개변수를 독립적으로 업데이트한다.
• 프레임워크는 추가적인 변수 유형을 통해 어떤 층에서든 사전 지식이나 지도 레이블을 통합할 수 있다.

실험 결과

연구 질문

• RQ1 국소화된 학습을 갖는 베이지안 인자 그래프 프레임워크가 이미지 데이터에서 효과적인 계층적 표현 학습을 달성할 수 있는가?
• RQ2 FGrn 기반 네트워크는 손상되거나 손실된 입력 패치에서 얼마나 잘 패턴 복원을 수행할 수 있는가?
• RQ3 비지도 방식으로 학습된 후, 새로운 테스트 데이터에 대해 모델이 얼마나 잘 일반화되는가?
• RQ4 FGrn 프레임워크의 모듈성과 유연성이 다양한 척도에서 사전 지식이나 지도 학습 신호의 통합을 어떻게 지원하는가?
• RQ5 분산 또는 병렬 구현을 통해 대규모 이미지 처리 작업에 대해 FGrn 아키텍처를 확장하는 데 있어 계산 가능성은 어떠한가?

주요 결과

• 모델은 계층적 표현을 성공적으로 학습하였으며, Layer 1은 조기 시각 피질 반응과 유사한 단순한 방향성 패턴을 포착한다.
• Layer 3에서는 하위 수준의 특징으로부터 조합된 복잡한 구조를 반영하는 전방 분포가 나타나, 기초 요소의 효과적인 조합을 보여준다.
• 학습 패치에서의 패턴 복원은 높은 정밀도를 보였으며, 네트워크는 저장된 구조적 지식을 활용해 누락된 픽셀을 복원했다.
• 테스트 세트 패치에 대해선 이전에 본 적이 없음에도 불구하고 효과적인 일반화가 이루어져, 강건성과 전이 학습 능력을 입증했다.
• 최대 50%의 픽셀이 손실된 경우에도 패턴 재구성 능력이 뛰어나, 연상 기억력과 추론 능력의 강도를 확인했다.
• 국소화된 학습과 메시지 전달 메커니즘이 효율적인 분산 계산을 가능하게 하여, 대규모 비전 작업에 대한 확장성을 지원한다.