[논문 리뷰] Learning Sparse Feature Representations using Probabilistic Quadtrees and Deep Belief Nets

Saikat Basu, Manohar Karki외 4명|arXiv (Cornell University)|2015. 09. 11.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 손글씨 숫자 분류를 위한 희박한 특징 표현을 학습하기 위해 확률적 4분할 트리와 딥 베이즈 네트워크(DBN)를 결합한 새로운 프레임워크를 제안한다. 깊이 우선 탐색을 통해 확률적 4분할 트리를 구성하고, 이를 통해 희박하고 계층적인 특징을 생성한 후, 이를 DBN에 입력함으로써 성능 향상이 크게 이루어진다. MNIST에서는 기존 DBN 대비 최대 25%의 상대적 향상률을 기록하고, 노이즈가 첨가된 변형(MNIST)에서는 최대 36%의 상대적 향상률을 보이며 노이즈에 대한 강건성과 향상된 분류 능력을 입증한다.

ABSTRACT

Learning sparse feature representations is a useful instrument for solving an unsupervised learning problem. In this paper, we present three labeled handwritten digit datasets, collectively called n-MNIST. Then, we propose a novel framework for the classification of handwritten digits that learns sparse representations using probabilistic quadtrees and Deep Belief Nets. On the MNIST and n-MNIST datasets, our framework shows promising results and significantly outperforms traditional Deep Belief Networks.

연구 동기 및 목표

• 노이즈 조건 하에서 손글씨 숫자 인식을 위한 강건한 비지도 특징 학습 프레임워크를 개발하기 위해.
• 기존 기준으로 사용하기 위해 추가 백색 가우시안 노이즈, 운동 블러, 대trast 감소를 포함한 세 가지 새로운 노이즈가 첨가된 손글씨 숫자 데이터셋(n-MNIST)을 제안하기 위해.
• 확률적 4분할 트리를 통해 희박하고 계층적인 표현을 학습하여 딥 베이즈 네트워크의 분류 능력을 향상시키기 위해.
• 통계적으로 타당한 방식으로 이미지 데이터의 차원을 감소시키면서도 구조적 및 질감 정보를 유지하기 위해.

제안 방법

• 이미지 블록을 동질성 기준(임계값 τ = 0.27로 설정)에 따라 반복적으로 분할하여 확률적 4분할 트리를 구성하며, 최대-최소 강도 차이가 τ를 초과하는 블록은 네 개의 하위 블록으로 분할된다.
• 4분할 트리의 각 노드는 그 노드가 분할되었는지(1) 여부를 나타내는 이진 랜덤 변수로 모델링되며, 데이터셋 내 어떤 샘플도 동질성 테스트에 통과하지 못하면 분할로 간주된다.
• 학습된 4분할 트리의 깊이 우선 탐색을 통해 각 이미지에 대한 선형적이고 희박한 벡터 표현을 생성하며, 이는 계층적인 공간적 및 강도 통계 정보를 코딩한다.
• 이러한 희박한 벡터는 분류를 위해 딥 베이즈 네트워크(DBN)에 입력되며, DBN은 제한된 볼츠만 기계(RBM)를 사용해 계층별로 사전 학습하고, 역전파를 통해 미세조정된다.
• RBM 학습은 가시 단위의 로그우도를 최대화하기 위해 대비 분산 대비 기법을 사용하며, 조건부 확률은 시그모이드 함수를 통해 계산된다.
• 프레임워크는 MNIST와 세 가지 n-MNIST 변형에서 평가되며, 다양한 네트워크 깊이와 너비에서 표준 DBN 아키텍처와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 확률적 4분할 트리는 손글씨 숫자 데이터셋에서 분류 정확도 향상에 기여하는 희박하고 계층적인 표현을 효과적으로 학습할 수 있는가?
• RQ2 제안된 프레임워크는 표준 DBN과 비교해 n-MNIST와 같은 노이즈가 첨가된 MNIST 변형에서 어떻게 성능을 내는가?
• RQ3 4분할 트리에서 파생된 희박한 표현은 딥 베이즈 네트워크의 분류 능력을 어느 정도 향상시키는가?
• RQ4 4분할 트리 기반 특징 추출과 DBN의 통합은 미리 보지 않은 데이터에 대해 수렴 속도 향상 또는 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• 450-450 아키텍처로 MNIST 데이터셋에서 테스트 오차율 1.38%를 기록하며, 최고의 기존 DBN 대비 약 25%의 상대적 향상률을 기록한다.
• 추가 백색 가우시안 노이즈가 첨가된 n-MNIST 데이터셋에서 500-500 아키텍처로 테스트 오차율 9.93%를 기록하며, 표준 DBN 대비 약 36%의 상대적 향상률을 기록한다.
• 운동 블러로 손상된 데이터셋에서 500-500 아키텍처로 테스트 오차율 7.84%를 기록하며, 기준 DBN 대비 약 26%의 상대적 향상률을 기록한다.
• AWGN와 대trast 감소가 동시에 첨가된 변형에서 450-450 아키텍처로 테스트 오차율 8.36%를 기록하며, 표준 DBN 대비 약 12%의 상대적 향상률을 기록한다.
• 모든 네트워크 아키텍처와 모든 n-MNIST 변형에서 표준 DBN을 일관되게 능가하며, 다양한 이미지 손상에 대한 강건성을 입증한다.
• 확률적 4분할 트리의 사용은 중요한 질감 및 구조적 특징을 유지하면서 효과적인 차원 축소를 가능하게 하여 더 분류 능력이 뛰어난 표현을 도출한다.