[논문 리뷰] Informational Neurobayesian Approach to Neural Networks Training. Opportunities and Prospects

Artem V. Artemov, Evgeniy Veniaminovich Lutsenko외 2명|arXiv (Cornell University)|2017. 10. 19.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 시냅스 가중치를 임의의 값이 아닌 정보의 양을 측정하는 것으로 해석함으로써 신경망을 훈련시키는 데 새로운 방법인 정보 신경베이지안 접근법(Informational Neurobayesian Approach, INA)을 제안한다. 정보 이론과 베이지안 업데이트를 활용함으로써 계산 복잡도를 O(log n)으로 줄이고, 표준 CPU에서 63억 파라미터의 대규모 모델—예를 들어 단어 인식 시스템—을 3시간 이내에 훈련시킬 수 있으며, 최소한의 데이터와 GPU 없이도 텍스트 복원 작업에서 F1 점수 0.97 이상을 달성한다.

ABSTRACT

A study of the classification problem in context of information theory is presented in the paper. Current research in that field is focused on optimisation and bayesian approach. Although that gives satisfying results, they require a vast amount of data and computations to train on. Authors propose a new concept named Informational Neurobayesian Approach (INA), which allows to solve the same problems, but requires significantly less training data as well as computational power. Experiments were conducted to compare its performance with the traditional one and the results showed that capacity of the INA is quite promising.

연구 동기 및 목표

• 기존 딥러닝 및 베이지안 신경망 훈련의 높은 데이터 및 계산 요구량을 해결하기 위해.
• 신경망 가중치를 임의의 파rameter가 아니라 정보의 양으로 해석하는 방법을 개발하기 위해.
• GPU 없이도 표준 CPU에서 대규모 신경망 모델을 훈련시킬 수 있도록 하여 자원 요구량을 줄이기 위해.
• 특히 자연어 및 텍스트 인식 작업에서 낮은 데이터 및 원샷 학습 시나리오에서의 성능 향상.
• 정보 기반의 가중치 조합을 통해 계층적이고 다층적인 신경망의 구축을 가능하게 하기 위해.

제안 방법

• 신경망 가중치를 정보의 양—구체적으로 클래스 결과의 사후 확률 대 사전 확률의 로그 비율—으로 재해석하며, Harkevich의 공식에 기반한다.
• 정보 이론의 시스템 이론(STI)을 적용하여 특징이 결과를 예측하는 데 기여하는 정보적 가치를 정량화함으로써 정보 기반의 가중치 할당을 가능하게 한다.
• E단계와 M단계를 반복하는 EM 유사 알고리즘을 사용하여 정보의 기원을 최적화하며, E단계는 정보의 양을 계산하고 M단계는 모델 파rameter를 업데이트한다.
• 과적합을 줄이고 제한된 데이터에서의 학습을 가능하게 하기 위해 사전 분포를 사용하는 수정된 베이지안 프레임워크를 적용한다.
• E단계는 O(log n), M단계는 O(n log n)의 복잡도를 가지는 로그적 복잡도 학습 알고리즘을 도입하여 기존 경사하강법(O(n²)) 대비 계산 비용을 크게 감소시킨다.
• 정보 뉴로모델을 독립적으로 훈련시킬 수 있도록 하여, 각 뉴런의 입력이 하위 순서의 정보 모델이 되는 모듈러한 방식으로 깊고 다층적인 신경망을 구성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 정보 이론 원리를 활용해 신경망 훈련을 재정의함으로써 데이터 및 계산 요구량을 줄일 수 있는가?
• RQ2 가중치를 정보의 양으로 해석함으로써 낮은 데이터 또는 원샷 학습 시나리오에서 모델 성능이 어떻게 향상되는가?
• RQ3 정보 기반 최적화 프레임워크를 사용해 GPU 없이도 표준 CPU에서 대규모 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ4 정보의 덧셈 성질이 다층 신경망의 구성에 미치는 영향은 무엇인가?
• RQ5 기존 경사하강법 및 신경베이지안 접근법 대비 정확도, 속도, 자원 효율성 측면에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 10만 개의 단어만을 사용하여 러시아어 단어 인식 작업에서 INA 방법은 F1 점수 0.98을 달성하여 낮은 데이터, 복잡한 텍스트 작업에서 뛰어난 성능을 보였다.
• 표준 CPU 전용 서버(인텔 엑손 E5-1650 v3, 128GB RAM)에서 63억 파라미터의 러시아어 단어 인식 모델을 2시간 35분 만에 훈련시켰으며, GPU를 사용하지 않았다.
• 모델은 문자 및 바이그램당 퍼플렉서티 1.26을 기록하여 시퀀스 모델링 및 정보 예측에서 매우 높은 정확도를 보였다.
• MNIST 데이터셋에서는 1에포크 동안 F1 점수 0.81을 기록하여 유사 조건에서 기준 모델 성능을 크게 초월했다.
• 주택 가격 예측 작업에서는 1에포크 동안 RMSE 0.42를 달성하여 최고 성능 기록인 0.06628보다 낮지만, 최적화되지 않은 상태에서도 강력한 잠재력을 보였다.
• INA 알고리즘의 계산 복잡도는 E단계가 O(log n), M단계가 O(n log n)이며, 기존 경사하강법(O(n²)) 대비 상당한 향상으로 일반 하드웨어에서도 효율적인 훈련이 가능하다.