[논문 리뷰] Learning Discriminative Representation with Signed Laplacian Restricted Boltzmann Machine

Dongdong Chen, Jiancheng Lv외 1명|arXiv (Cornell University)|2018. 08. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 4

한 줄 요약

이 논문은 클래스 레이블 정보와 전역 데이터 국소성(global data locality)을 서명된 그래프 라플라시안 정규화자(regularizer)를 통해 통합하는 판별적 표현 학습 모델인 서명된 라플라시안 제한 버즈만 기계(Signed Laplacian Restricted Boltzmann Machine, SLRBM)를 제안한다. 인접 행렬에서 유사성과 비유사성을 모두 표현할 수 있도록 양수 및 음수 가중치를 允허함으로써 SLRBM은 표준 RBM과 GraphRBM보다 분류 성능을 향상시켜, 최적화 없이도 MNIST에서 11.2%의 오차를 달성한다.

ABSTRACT

We investigate the potential of a restricted Boltzmann Machine (RBM) for discriminative representation learning. By imposing the class information preservation constraints on the hidden layer of the RBM, we propose a Signed Laplacian Restricted Boltzmann Machine (SLRBM) for supervised discriminative representation learning. The model utilizes the label information and preserves the global data locality of data points simultaneously. Experimental results on the benchmark data set show the effectiveness of our method.

연구 동기 및 목표

• 클래스 레이블 정보를 통합함으로써 RBM 내 판별적 표현 학습을 향상시키기 위해.
• 지역 이웃을 넘어서 전역 데이터 국소성을 유지함으로써 분류를 위한 표현 품질을 향상시키기 위해.
• 기존의 다양체 학습(manifold learning)과 GraphRBM의 한계를 극복하기 위해, 서명된 인접 행렬을 통해 유사성과 비유사성을 모두 인코딩할 수 있도록 하기 위해.
• 최근접 이웃 검색을 필요로 하지 않도록 하여 구현을 단순화하면서도 성능을 유지하기 위해.

제안 방법

• 같은 클래스 쌍에는 +1, 다른 클래스 쌍에는 -1로 간주하는 서명된 그래프를 구성한다.
• 서명된 그래프 라플라시안을 $ L = D - \Phi $ 로 정의하며, 여기서 $ D_{ii} = \sum_j \phi_{ij} $ 이다.
• 조정 파rameter $ \lambda $ 를 사용해 RBM의 에너지 함수에 정규화자 $ \mathcal{J}(\mathcal{H}) = \sum_{ij} \phi_{ij} \| h^{(i)} - h^{(j)} \|_2^2 $ 를 통합한다.
• $ \delta^{(i)} $ 를 포함하는 기울기 항을 가진 수정된 에너지 함수를 사용해 가시 단위 및 은닉 단위의 조건부 확률을 유도한다.
• 파arameter 학습을 위해 대비 다이버전스(CD)를 사용하고 최적화를 위해 표준 기울기 상승법을 적용한다.
• 패치 정렬 프레임워크를 적용하여, SLRBM이 국소 이웃이 아닌 전역 데이터 구조를 사용함으로써 GraphRBM을 일반화함을 보여준다.

실험 결과

연구 질문

• RQ1 RBM 학습에 클래스 레이블 정보를 통합하는 것이 판별적 표현 학습을 향상시킬 수 있는가?
• RQ2 유사성과 비유사성을 모두 인코딩할 수 있는 서명된 인접 행렬을 사용할 경우, 이진 또는 양수 전용 그래프보다 더 나은 표현 품질을 달성할 수 있는가?
• RQ3 최근접 이웃 검색에 의존하지 않고도 전역 데이터 국소성을 유지할 수 있는가? 이는 모델의 강건성과 단순성 향상에 기여하는가?
• RQ4 기본 RBM과 ClassRBM에 비해 SLRBM은 기준 데이터셋에서 분류 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• SLRBM은 최적화 없이도 MNIST 데이터셋에서 테스트 오차율 11.2%를 기록하며, 표준 RBM(26.8%)과 ClassRBM(23.8%)를 크게 앞서간다.
• 학습된 표현은 입력 공간에서 원래 가까이 있지 않은 동일한 클래스의 데이터 포인트들이 은닉 공간에서 더 가까이 위치함을 보여준다.
• 서명된 그래프 라플라시안의 사용은 동일 클래스 간 유사성과 다른 클래스 간 비유사성 정보를 모두 인코딩할 수 있게 하여 판별 능력을 향상시킨다.
• SLRBM는 최근접 이웃 검색이 필요 없어, 기존의 다각체 학습 방법보다 구현이 더 쉽고 확장성이 뛰어나다.
• MNIST에 대한 시각화 결과는 같은 숫자(예: '0' 또는 '1')의 표현은 매우 유사하고, 다른 숫자의 표현은 명확히 분리되어 있음을 보여준다.