[논문 리뷰] Conditional Restricted Boltzmann Machines for Structured Output Prediction

Volodymyr Mnih, Hugo Larochelle외 1명|arXiv (Cornell University)|2012. 02. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 96

한 줄 요약

이 논문은 구조적 출력 예측을 위한 조건부 제한 볼츠만 기계(CRBMs)를 위한 새로운 학습 알고리즘을 제안하며, 표준 대비 차분 대비법의 한계를 해결한다. 이는 저변동성(예: 다중 레이블 분류)과 고변동성(예: 이미지 노이즈 제거) 구조적 출력 영역에 맞춘 두 가지 별도의 학습 접근법을 도입하여, 두 유형의 문제에서 기존 방법보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Conditional Restricted Boltzmann Machines (CRBMs) are rich probabilistic models that have recently been applied to a wide range of problems, including collaborative filtering, classification, and modeling motion capture data. While much progress has been made in training non-conditional RBMs, these algorithms are not applicable to conditional models and there has been almost no work on training and generating predictions from conditional RBMs for structured output problems. We first argue that standard Contrastive Divergence-based learning may not be suitable for training CRBMs. We then identify two distinct types of structured output prediction problems and propose an improved learning algorithm for each. The first problem type is one where the output space has arbitrary structure but the set of likely output configurations is relatively small, such as in multi-label classification. The second problem is one where the output space is arbitrarily structured but where the output space variability is much greater, such as in image denoising or pixel labeling. We show that the new learning algorithms can work much better than Contrastive Divergence on both types of problems.

연구 동기 및 목표

• 구조적 출력 예측에서 조건부 제한 볼츠만 기계(CRBMs)를 위한 효과적인 학습 방법의 부족을 해결하기 위해.
• 제한된 가능 구성이 있는 구조적 출력 문제와 고출력 공간 변동성이 큰 문제의 두 가지 유형을 식별하고 모델링하기 위해.
• 각 문제 유형에 맞는 전문화된 학습 알고리즘을 개발하여 표준 대비 차분 대비법의 한계를 개선하기 위해.
• 제안된 방법이 실제 구조적 출력 예측 작업에서 기존 접근법보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 표준 대비 차분 대비법이 조건부 모델에서 유도하는 편향을 피하기 위해 수정된 CRBMs 학습 알고리즘을 제안한다.
• 다중 레이블 분류와 같이 가능한 구성이 작은 구조적 출력에 특화된 첫 번째 학습 방법을 도입한다.
• 픽셀 레이블링이나 이미지 노이즈 제거와 같이 고변동성 구조적 출력에 맞춘 두 번째 학습 알고리즘을 개발한다.
• 대비 차분 유사 접근법을 사용하지만, 구조적 출력의 조건부 의존성을 더 잘 포착하기 위해 조정을 가한다.
• 두 문제 유형 모두에서 출력 공간의 구조를 고려한 샘플링 기반 기울기 근사법을 적용한다.
• 효율적인 추론 및 학습 절차를 사용하여 제안된 알고리즘을 활용해 CRBMs를 구조적 예측 작업에 훈련시킨다.

실험 결과

연구 질문

• RQ1 표준 대비 차분 대비법은 구조적 출력 예측을 위한 CRBM 훈련에 효과적으로 적용될 수 있는가?
• RQ2 CRBM 훈련은 가능한 구성이 적은 구조적 출력을 다룰 수 있도록 어떻게 적응시킬 수 있는가?
• RQ3 고변동성 구조적 출력을 위한 효과적인 CRBM 훈련을 가능하게 하는 학습 전략은 무엇인가?
• RQ4 제안된 방법은 저변동성 및 고변동성 구조적 예측 작업 모두에서 대비 차분 대비법을 능가하는가?

주요 결과

• 제안된 학습 알고리즘이 두 유형의 구조적 출력 예측 문제에서 표준 대비 차분 대비법보다 뚜렷이 뛰어난 성능을 보였다.
• 다중 레이블 분류와 같은 저변동성 작업에서는 조건부 의존성을 더 잘 모델링함으로써 예측 정확도가 향상되었다.
• 이미지 노이즈 제거 및 픽셀 레이블링과 같은 고변동성 작업에서는 개선된 알고리즘이 더 잘 일반화되고 수렴이 더 안정되었다.
• 다양한 구조적 출력 작업에서의 강건성은 학습 알고리즘을 출력 구조에 맞게 맞춤화하는 것이 중요하다는 것을 확인시켰다.