[논문 리뷰] On the Challenges of Physical Implementations of RBMs

Vincent Dumoulin, Ian Goodfellow외 2명|arXiv (Cornell University)|2013. 12. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 25

한 줄 요약

이 논문은 소프트웨어 시뮬레이션을 통해 제한된 볼츠만 머신(RBMs)의 물리적 구현 가능성에 대해 세 가지 주요 하드웨어 제약 조건—파rameter 노이즈, 제한된 파rameter 범위, 제한된 연결성—을 평가한다. 연구 결과, 특히 D-Wave Two의 카이머 아키텍처와 같은 희박하고 구조화된 연결성인 아키텍처의 위상 제약 조건이 성능에 가장 심각한 장애를 초래하는 것으로 나타났으며, 노이즈와 파rameter 범량 제약 조건은 적절한 학습 전략을 통해 보다 관리 가능하다는 것을 확인하였다.

ABSTRACT

Restricted Boltzmann machines (RBMs) are powerful machine learning models, but learning and some kinds of inference in the model require sampling-based approximations, which, in classical digital computers, are implemented using expensive MCMC. Physical computation offers the opportunity to reduce the cost of sampling by building physical systems whose natural dynamics correspond to drawing samples from the desired RBM distribution. Such a system avoids the burn-in and mixing cost of a Markov chain. However, hardware implementations of this variety usually entail limitations such as low-precision and limited range of the parameters and restrictions on the size and topology of the RBM. We conduct software simulations to determine how harmful each of these restrictions is. Our simulations are designed to reproduce aspects of the D-Wave quantum computer, but the issues we investigate arise in most forms of physical computation.

연구 동기 및 목표

• 물리적 RBM 구현에 영향을 미치는 하드웨어 수준의 제약 조건—파arameter 노이즈, 제한된 파arameter 범위, 제한된 위상 구조—의 영향을 평가하기 위해.
• 물리적 계산 시스템에서 RBM 성능과 학습 가능성에 가장 심각한 영향을 미치는 제약 조건을 규명하기 위해.
• 물리적 RBM 계산에서 하드웨어 제약 조건의 부정적 영향을 완화하기 위해 학습 전략이 어떻게 적응될 수 있는지 평가하기 위해.
• 실용적인 물리적 RBM 구현을 위한 가장 중요한 장벽을 규명함으로써 향후 하드웨어 및 알고리즘 설계를 안내하기 위해.

제안 방법

• 물리적 RBM 환경을 GPU에서 시뮬레이션하여 물리적 샘플링의 이점을 제거하고 개별 하드웨어 제약 조건을 고립하여 연구하였다.
• 노이즈에 대한 내성적 특성을 평가하기 위해 양방향 단계에서 일관된 샘플러를 사용하는 MCMC 기반 학습을 수행하였다.
• 가중치와 편향에 제어된 노이즈를 적용하고 클리핑을 적용하여 물리적 시스템에서의 제한된 파arameter 범위를 시뮬레이션하였다.
• 가중치 행렬에 무작위 또는 구조화된 희박성을 강제로 적용하여 연결성 제약 조건을 시뮬레이션하였으며, D-Wave Two의 카이머 위상 구조도 포함하였다.
• 표준 대비 경향 기반 대비 학습(contrastive divergence)을 사용하여 MNIST 데이터로 RBM을 학습하고, 테스트 음의 로그우도(NLL)를 통해 성능을 평가하였다.
• 완전히 연결된, 무작위로 자른, 그리고 구조화된(카이머) 연결 패턴 간의 결과를 비교하여 위상의 영향을 고립하였다.

실험 결과

연구 질문

• RQ1 물리적 RBM에서의 파arameter 노이즈는 모델 성능과 학습 안정성에 어떤 영향을 미치는가?
• RQ2 가중치와 편향의 다이내믹 레인지 제한이 RBM 성능에 어느 정도 악영향을 미치는가?
• RQ3 제한된 연결성—특히 D-Wave의 카이머와 같은 희박하고 구조화된 위상 구조—는 RBM의 표현 능력에 얼마나 심각하게 영향을 미치는가?
• RQ4 물리적 RBM 구현에서 하드웨어 제약 조건의 영향을 완화하기 위해 학습 절차를 어떻게 적응시킬 수 있는가?
• RQ5 어느 하드웨어 제약 조건이 실용적인 물리적 RBM 구현에 가장 심각한 장애를 초래하는가?

주요 결과

• 파arameter 노이즈는 RBM 성능을 심각하게 떨어뜨리지만, 이 영향은 추론 시 사용할 샘플러와 동일한 샘플러를 음의 단계에서 사용함으로써 완화될 수 있다.
• 가중치와 편향의 범위를 제한하는 것은 상한선이 최소 1.0 이상일 경우 성능에 거의 영향을 주지 않으며, 상한선이 1.0 이하일 경우에만 성능이 급격히 떨어진다.
• 위상 제약 조건이 가장 심각한 영향을 미친다: 연결성의 99%를 0으로 강제할 경우 테스트 NLL는 200.3 ± 0.2에 도달하며, 생성된 샘플은 모든 숫자 유형의 구조를 상실한다.
• 무작위로 50%의 연결성을 제거해도 테스트 NLL는 오직 4.3% 증가할 뿐이므로, RBM은 무작위 희박성에 상대적으로 내성적이다.
• D-Wave Two의 카이머 위상 구조와 같은 구조화된 희박성은 무작위 희박성보다 훨씬 우수한 성능을 보이며, 픽셀 블록 매핑을 사용할 경우 테스트 NLL 138.2를 기록한다. 그러나 여전히 완전히 연결된 RBM에 비해 훨씬 열 劣하다.
• 노이즈와 파arameter 클리핑의 조합은 유익할 수 있으며, 이는 과도한 노이즈 증폭을 방지하기 위해 가중치 스케일링을 막아 일반화를 촉진하기 때문이다.