[논문 리뷰] Learning Compact Recurrent Neural Networks with Block-Term Tensor Decomposition

Jinmian Ye, Linnan Wang외 5명|arXiv (Cornell University)|2017. 12. 14.

Tensor decomposition and applications참고 문헌 47인용 수 17

한 줄 요약

이 논문은 블록-텀 텐서 분해를 사용하여 모델 파라미터를 극적으로 줄이고 학습 효율성과 성능을 향상시키는 컴act하고 효율적인 순환 신경망 아키텍처인 Block-Term RNN(BT-RNN)을 제안한다. 밀도 높은 입력-은닉 가중치 행렬을 저질서 텐서 구조로 대체함으로써, BT-LSTM는 표준 LSTM 대비 17,388배 적은 파라미터를 사용하며, UCF11 행동 인식 데이터셋에서 정확도를 15.6% 이상 향상시킨다.

ABSTRACT

Recurrent Neural Networks (RNNs) are powerful sequence modeling tools. However, when dealing with high dimensional inputs, the training of RNNs becomes computational expensive due to the large number of model parameters. This hinders RNNs from solving many important computer vision tasks, such as Action Recognition in Videos and Image Captioning. To overcome this problem, we propose a compact and flexible structure, namely Block-Term tensor decomposition, which greatly reduces the parameters of RNNs and improves their training efficiency. Compared with alternative low-rank approximations, such as tensor-train RNN (TT-RNN), our method, Block-Term RNN (BT-RNN), is not only more concise (when using the same rank), but also able to attain a better approximation to the original RNNs with much fewer parameters. On three challenging tasks, including Action Recognition in Videos, Image Captioning and Image Generation, BT-RNN outperforms TT-RNN and the standard RNN in terms of both prediction accuracy and convergence rate. Specifically, BT-LSTM utilizes 17,388 times fewer parameters than the standard LSTM to achieve an accuracy improvement over 15.6\% in the Action Recognition task on the UCF11 dataset.

연구 동기 및 목표

• 영상 및 이미지 시퀀스 작업과 같은 고차원 입력을 처리할 때 RNN에서 발생하는 높은 계산 비용과 파라미터 폭발 문제를 해결하기 위해.
• 표준 LSTM에서의 비효율적인 밀도 높은 완전 연결 연산을 구조화된 저질서 텐서 분해로 대체하여.
• 순서 모델링 작업에서 성능을 유지하거나 향상시키면서도 더 파라미터 효율적인 RNN 아키텍처를 개발하기 위해.
• 텐서 분해를 통해 잠재적으로 불필요한 연결을 암묵적으로 제거함으로써 더 빠른 학습과 더 나은 일반화를 가능하게 하기 위해.

제안 방법

• LSTM의 입력-은닉 가중치 행렬(W*)을 블록-텀 텐서 분해(BTD)를 적용하여 저질서 터커 성분의 합으로 분해함으로써 파라미터 수를 감소시킴.
• 입력 벡터 xt와 가중치 행렬 W*를 고차원 텐서로 표현하여 잠재적인 공간적 및 특징 상관관계를 활용함.
• 학습 중에 상호 파라미터 상관관계를 학습하는 BTD 레이어를 사용하여, 불필요한 밀도 높은 연결을 자동으로 제거함.
• BTD 레이어를 LSTM 셀에 통합하여 BT-LSTM를 구성함. 이는 표준 행렬-벡터 곱셈 W*·xt를 압축된 텐서 기반 연산으로 대체함.
• BTD 분해를 통해 기울기를 계산하고 표준 backpropagation을 사용하여 모델을 최적화함으로써, 엔드 투 엔드 미분 가능성을 유지함.
• 핵심 차원 수(d), 터커 질서(R), CP 질서(N)의 세 가지 하이퍼파라미터를 통해 모델 용량을 제어함으로써 정확도와 효율성 사이의 탄력적인 트레이드오프를 가능하게 함.

실험 결과

연구 질문

• RQ1 블록-텀 텐서 분해는 성능을 저하시키지 않고 RNN의 파라미터 수를 효과적으로 줄일 수 있는가?
• RQ2 TT-RNN과 같은 기존의 저질서 RNN과 비교할 때, BT-RNN의 파라미터 효율성과 근사 정확도는 어떠한가?
• RQ3 제안된 BT-LSTM 아키텍처는 행동 인식 및 이미지 캡션과 같은 순서 모델링 작업에서 더 빠른 수렴 속도와 더 높은 정확도를 달성하는가?
• RQ4 핵심 하이퍼파라미터(d, R, N)가 모델 성능과 파라미터 수에 미치는 영향은 어떠한가?

주요 결과

• BT-LSTM는 UCF11 행동 인식 데이터셋에서 표준 LSTM 대비 파라미터 수를 최대 17,388배 줄임.
• UCF11 데이터셋에서 BT-LSTM는 더 적은 파라미터를 사용하면서도 표준 LSTM 대비 정확도를 15.6% 이상 향상시킴.
• 행동 인식, 이미지 캡션, 이미지 생성의 세 가지 작업 전반에서 BT-LSTM는 예측 정확도와 수렴 속도 면에서 표준 LSTM 및 TT-RNN를 모두 능가함.
• 민감도 분석 결과, 터커 질서(R)는 모델 성능에 지수적 영향을 미치며, R이 작은 경우 CP 질서(N)가 안정성을 향상시킴.
• 핵심 차원 수(d)를 일정 수준 이상으로 늘일 경우 공간 정보 손실과 재구성 품질 악화가 발생함을 확인하여, d에 최적의 범위가 존재함을 시사함.
• BTD 기반 모델은 표준 LSTM보다 이미지 특징의 국소적 상관관계를 더 효과적으로 포착함을 입증하였으며, 이는 개선된 이미지 캡션 품질과 시각화된 가중치 행렬을 통해 확인됨.