[논문 리뷰] Hierarchical compositional feature learning

Miguel Lázaro-Gredilla, Yi Liu외 2명|arXiv (Cornell University)|2016. 11. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 4

한 줄 요약

이 논문은 최대곱 메시지 전파(MPMP)를 사용하여 레이블이 없는 이진 이미지에서 분리된, 이진의, 구성적인 특징을 학습하는 딥 생성 모델인 계층적 조합 네트워크(HCN)를 제안한다. EM 또는 역전파 없이도 작동한다. HCN은 해석 가능하고 재사용 가능한 부분(예: 문자나 숫자 구성 요소)을 발견하며, 같은 기능적 형태를 가진 컨볼루션 네트워크(CNN)와 유사한 빠른 추론을 제공하고, 데이터 손상 상황에서도 표준 CNN보다 일반화 성능이 뛰어나다.

ABSTRACT

We introduce the hierarchical compositional network (HCN), a directed generative model able to discover and disentangle, without supervision, the building blocks of a set of binary images. The building blocks are binary features defined hierarchically as a composition of some of the features in the layer immediately below, arranged in a particular manner. At a high level, HCN is similar to a sigmoid belief network with pooling. Inference and learning in HCN are very challenging and existing variational approximations do not work satisfactorily. A main contribution of this work is to show that both can be addressed using max-product message passing (MPMP) with a particular schedule (no EM required). Also, using MPMP as an inference engine for HCN makes new tasks simple: adding supervision information, classifying images, or performing inpainting all correspond to clamping some variables of the model to their known values and running MPMP on the rest. When used for classification, fast inference with HCN has exactly the same functional form as a convolutional neural network (CNN) with linear activations and binary weights. However, HCN's features are qualitatively very different.

연구 동기 및 목표

• 감독 없이 레이블이 없는 이진 이미지에서 분리된 계층적 특징을 발견하는 딥 생성 모델을 개발하는 것.
• 표준 변분 방법으로는 어려운, 설명의 상호 작용( explaining-away ) 현상이 있는 깊이 있는 유도 생성 모델의 추론 및 학습 문제를 해결하는 것.
• 분리된 EM 단계 없이 특징과 풀링 상태를 동시에 학습할 수 있도록 통합된 메시지 전파 프레임워크를 제공하는 것.
• 관측 변수를 단순하게 고정함으로써 분류, 복원, 준감독 학습과 같은 다양한 작업을 간편하게 지원할 수 있음을 보여주는 것.
• 최소한의 레이블 데이터로도 표준 CNN보다 HCN이 더 잘 일반화하는지 보여주는 것.

제안 방법

• HCN는 AND, OR, POOL 요소로 구성된 유도적 인과 그래프를 사용하여 레이어 간에 특징을 계층적으로 조합하며, 이미지 생성을 재사용 가능한 이진 부분의 구조적 조합으로 모델링한다.
• 특징는 고정된 파rameter가 아니라 잠재 변수로 간주되어, 특정 스케줄링 프로토콜을 사용한 최대곱 메시지 전파(MPMP)를 통해 종단 간 추론과 학습을 동시에 수행할 수 있다.
• MPMP는 네트워크 전반에 걸쳐 증거를 전파함으로써 효과적인 설명의 상호 작용을 가능하게 하여, 깊은 유도 모델에서 표준 변분 추론의 한계를 극복한다.
• 모델은 비감독 및 감독 학습을 모두 지원한다. 감독은 레이블 변수를 고정함으로써 통합되며, 추론 과정은 그대로 유지된다.
• HCN의 추론은 선형 활성화와 이진 가중치를 가진 CNN과 동일한 기능적 형태를 가지며, 단일 전방 전파로 빠른 분류가 가능하다.
• 구조는 고정 풀링(소규모 편향 포함)과 이진 가중치를 사용하여, 이해 가능성과 계산 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 감독 없이 레이블이 없는 이진 이미지에서 분리된, 해석 가능한, 재사용 가능한 부분(예: 문자나 숫자 구성 요소)을 딥 생성 모델이 발견할 수 있는가?
• RQ2 최대곱 메시지 전파(MPMP)는 EM 또는 역전파에 의존하지 않고도 설명의 상호 작용 효과가 있는 계층적 생성 모델에서 추론과 학습을 효과적으로 수행할 수 있는가?
• RQ3 HCN은 데이터 손상 상황에서 표준 CNN보다 더 잘 일반화하는가? 특히 매우 적은 예제로 학습한 경우에도 마찬가지인가?
• RQ4 같은 추론 메커니즘이 관측 변수를 단순히 고정하는 것으로 분류, 복원, 준감독 학습과 같은 다양한 작업을 처리할 수 있는가?
• RQ5 HCN 추론의 기능적 형태는 선형 활성화와 이진 가중치를 가진 CNN과 동일한가? 그리고 이러한 동치성은 속도나 내성성 측면에서 실용적 이점을 제공하는가?

주요 결과

• HCN는 단일 이미지에서 감독 없이도 해석 가능한 구성 특징(예: 문자나 숫자 구성 요소)을 성공적으로 발견하였다. 그림 1에서 확인할 수 있다.
• 단 4장의 레이블 이미지(클래스당 1장)로도 HCN은 4개 클래스 분류에서 0.6%의 테스트 오차를 기록하여, 최소한의 감독 설정에서 뛰어난 성능을 보였다.
• 감독 학습에서 HCN은 테스트 오차 0.07%를 기록하여 표준 CNN(0.5% 오차)과 ReLU 기반 CNN(2.5% 오차)를 크게 앞서며 동일 작업에서 뛰어난 성능을 보였다.
• 손상된 MNIST 데이터에서 HCN은 표준 CNN보다 더 잘 일반화한다: 격자 손상의 경우 HCN 오차는 68.52%였고 CNN은 82.69%였으며, 선 손상의 경우 HCN은 37.22%였고 CNN은 55.77%였다.
• HCN의 학습 시간은 데이터 크기와 모델 복잡도에 따라 선형적으로 증가하며, MNIST 데이터(400장)로 단일 CPU에서 약 17시간이 소요된다. 다만, 메시지 저장을 위해 최대 150GB의 메모리가 사용될 수 있다.
• HCN의 첫 번째 레이어 가중치(그림 9a)는 숫자의 명확하고 재사용 가능한 부분(예: 선과 곡선)을 잘 보여주며, 모델이 의미 있는 계층적 특징을 학습할 수 있음을 확인한다.