[논문 리뷰] Exponentially Increasing the Capacity-to-Computation Ratio for Conditional Computation in Deep Learning

Kyunghyun Cho, Yoshua Bengio|arXiv (Cornell University)|2014. 06. 28.

Neural Networks and Applications참고 문헌 26인용 수 27

한 줄 요약

이 논문은 신경망 가중치 행렬의 트리 구조적 파arametrization을 제안하여, 은닉 유닛 활성화의 학습된 비트 패턴에 기반해 매개변수를 활성화함으로써 계산량에 비해 모델 용량을 지수적으로 증가시킨다. 이 방법은 계산 대비 용량 비율을 지수적으로 증가시키며, 이론적 분석을 통해 표준 네트워크 대비 $\frac{2^k}{k}$의 향상을 보이고, 시간에 민감한 가중치 감쇠를 통해 정규화를 유지한다.

ABSTRACT

Many state-of-the-art results obtained with deep networks are achieved with the largest models that could be trained, and if more computation power was available, we might be able to exploit much larger datasets in order to improve generalization ability. Whereas in learning algorithms such as decision trees the ratio of capacity (e.g., the number of parameters) to computation is very favorable (up to exponentially more parameters than computation), the ratio is essentially 1 for deep neural networks. Conditional computation has been proposed as a way to increase the capacity of a deep neural network without increasing the amount of computation required, by activating some parameters and computation "on-demand", on a per-example basis. In this note, we propose a novel parametrization of weight matrices in neural networks which has the potential to increase up to exponentially the ratio of the number of parameters to computation. The proposed approach is based on turning on some parameters (weight matrices) when specific bit patterns of hidden unit activations are obtained. In order to better control for the overfitting that might result, we propose a parametrization that is tree-structured, where each node of the tree corresponds to a prefix of a sequence of sign bits, or gating units, associated with hidden units.

연구 동기 및 목표

• 모델 용량(매개변수 수)과 계산량이 선형적으로 증가하는 딥 뉴럴 네트워크의 근본적 한계를 해결하기 위해.
• 추론 또는 학습 계산량에 비례하지 않고 훨씬 더 큰 모델과 데이터셋을 활용할 수 있도록 하기 위해.
• 딥 분산 표현의 통계적 효율성과 결정 트리가 달성하는 지수적 계산 대비 용량 비율을 결합하기 위해.
• 계산 오버헤드를 최소화하면서 매개변수 수를 지수적으로 증가시킬 수 있는 미분 가능하고 학습 가능한 조건부 계산 메커니즘을 설계하기 위해.

제안 방법

• 은닉 유닛 활성화의 부호 비트 패턴에 의해 인덱싱되는 벡터의 트리 구조적 테이블을 사용해 가중치 행렬을 파arametrization한다.
• 각 유닛에 대해 $ T(j, \mathbf{b}_{1\ldots l}) $ 형태의 가중치 벡터 집합을 유지하며, $ \mathbf{b} $는 길이 $ l $의 이진 접두어이며, $ k $-비트 접두어를 사용할 경우 총 $ 2^k $개의 벡터를 제공한다.
• 입력 활성화의 부호에 기반한 게이팅 메커니즘을 사용해 선택된 벡터의 합으로 효과적 가중치 행렬을 계산한다.
• 시간에 민감한 정규화 적용: 활성화되지 않은 기간 동안 스킵된 정규화 단계를 보상하기 위해 가중치 벡터를 $ (1 - \epsilon\lambda)^{\Delta t} $로 사전 곱한다.
• 표준 백프로파게이션을 네트워크 전반에 적용하며, 게이팅 결정은 비가역적이지만 여전히 학습된 가중치 벡터로 기울기 전파를 가능하게 한다.
• REINFORCE 기반 학습을 통한 게이팅 유닛의 대안적 크레딧 할당 전략과, 노이즈 있는 레크티파이어 유사 조절을 통한 가중치 벡터 기여도 조절을 탐색한다.

실험 결과

연구 질문

• RQ1 계산량에 비해 지수적으로 증가하는 매개변수 수를 갖는 파arametrization를 설계할 수 있는가?
• RQ2 지수적으로 많은 매개변수를 사용할 경우 모델 일반화를 유지하고 과적합을 방지할 수 있는가?
• RQ3 게이팅 메커니즘을 효과적이고 미분 가능하게 학습시키는 방법은 무엇인가?
• RQ4 지나친 계산 오버헤드 없이 계산 대비 용량 비율을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 계산 대비 자유도 비율을 $ \frac{2^k}{k} $로 증가시키며, 이는 게이팅에 사용된 비트 수 $ k $에 따라 지수적으로 증가한다.
• 효과적 가중치 행렬을 계산하는 데 드는 계산 오버헤드는 단위당 $ O(kq) $이며, 이는 표준 행렬 곱셈에 필요한 $ O(pq) $의 곱셈-덧셈 연산에 비해 합리적인 비용이다.
• 최근 업데이트 이후 경과한 시간을 추적함으로써 효율적인 정규화를 지원하며, 비활성 가중치 벡터에 시간 보정 감쇠 인자를 적용한다.
• 실증적 검증은 여전히 필요하지만, 이론적으로는 타당하며 음성 및 언어 모델링과 같은 대규모 데이터셋에 대해 유망한 전망을 보인다.