[논문 리뷰] k-FFNN: A priori knowledge infused Feed-forward Neural Networks

Sri Harsha Dumpala, Rupayan Chakraborty외 1명|arXiv (Cornell University)|2017. 04. 24.

Music and Audio Processing참고 문헌 11인용 수 3

한 줄 요약

이 논문은 순차적 데이터의 시간적 관계에 대한 사전 지식을 통합하는 피드포워드 신경망 아키텍처인 k-FFNN을 제안하며, 자원이 제한된 환경에서 표준 RNN보다 뛰어난 성능을 발휘함을 보여준다. 학습된 함수를 통해 알려진 시간적 상관관계를 통합함으로써 k-FFNN은 RNN과 유사하거나 이를 초월하는 성능을 달성한다—특히 훈련 데이터가 적을 경우에 특히 두드러지며, 명시적인 지식 통합이 대규모 RNN 훈련에 대한 의존도를 줄일 수 있음을 입증한다.

ABSTRACT

Recurrent neural network (RNN) are being extensively used over feed-forward neural networks (FFNN) because of their inherent capability to capture temporal relationships that exist in the sequential data such as speech. This aspect of RNN is advantageous especially when there is no a priori knowledge about the temporal correlations within the data. However, RNNs require large amount of data to learn these temporal correlations, limiting their advantage in low resource scenarios. It is not immediately clear (a) how a priori temporal knowledge can be used in a FFNN architecture (b) how a FFNN performs when provided with this knowledge about temporal correlations (assuming available) during training. The objective of this paper is to explore k-FFNN, namely a FFNN architecture that can incorporate the a priori knowledge of the temporal relationships within the data sequence during training and compare k-FFNN performance with RNN in a low resource scenario. We evaluate the performance of k-FFNN and RNN by extensive experimentation on MediaEval 2016 audio data ("Emotional Impact of Movies" task). Experimental results show that the performance of k-FFNN is comparable to RNN, and in some scenarios k-FFNN performs better than RNN when temporal knowledge is injected into FFNN architecture. The main contributions of this paper are (a) fusing a priori knowledge into FFNN architecture to construct a k-FFNN and (b) analyzing the performance of k-FFNN with respect to RNN for different size of training data.

연구 동기 및 목표

• 훈련 데이터가 부족할 경우 RNN의 성능이 열 劣하는 문제를 해결한다.
• 순차적 데이터 작업에서 사전 지식으로서의 시간적 관계가 FFNN 성능을 향상시킬 수 있는지 조사한다.
• 반복 피드백 루프에 의존하지 않고 알려진 시간적 의존성을 통합하는 새로운 FFNN 아키텍처를 개발한다.
• 다양한 훈련 데이터 크기에서 k-FFNN의 성능을 RNN 및 표준 FFNN과 비교한다.
• 명시적인 지식 통합이 순차 모델링에서 대규모 데이터 부족을 상쇄할 수 있음을 입증한다.

제안 방법

• 표준 FFNN을 수정하여 사전 시간 지식을 입력 특성으로 통합함으로써 k-FFNN를 설계한다.
• 세 가지 별도의 지식 통합 함수(Fn1, Fn2, Fn3)를 사용하여 시간적 관계를 표현하며, 각 함수는 순차적 의존성에 대한 서로 다른 가정을 코딩한다.
• 직접 비교를 위해 RNN 및 FFNN와 동일한 손실 함수(MSE, PCC)를 사용해 k-FFNN를 훈련한다.
• 미디어벨 2016 음성 데이터셋을 사용하여 정서 영향 예측을 수행하며, 각도와 밀도를 회귀 목표로 설정한다.
• 훈련 세트 크기를 다양하게 설정(200~6814개 샘플)하여 데이터 효율성을 평가한다.
• MSE 및 피어슨 상관계수(PCC)를 사용해 k-FFNN를 RNN, LSTM, BLSTM 및 표준 FFNN과 비교한다.

실험 결과

연구 질문

• RQ1 순차적 데이터의 사전 시간적 관계 지식을 피드포워드 신경망에 효과적으로 통합할 수 있는가?
• RQ2 훈련 데이터가 제한되었을 때 k-FFNN의 성능은 RNN에 비해 어떻게 다른가?
• RQ3 시간적 지식 표현 방식의 선택(Fn1 대비 Fn2 대비 Fn3)이 k-FFNN 성능에 상당한 영향을 미치는가?
• RQ4 RNN이 충분한 데이터가 없어 어려움을 겪는 자원이 제한된 환경에서 k-FFNN가 RNN을 능가할 수 있는가?
• RQ5 훈련 데이터가 증가함에 따라 k-FFNN와 RNN의 성능 격차가 줄어들며, 대규모 데이터 스케일에서 수렴하는 성능 포인트가 존재하는가?

주요 결과

• 200개의 훈련 샘플만으로도 k-FFNN(Fn1)는 각도 예측에서 PCC 0.274를 기록하여 동일한 저자원 환경에서 RNN(PCC = 0.079)를 능가했다.
• 6814개의 훈련 샘플을 사용한 밀도 예측에서 k-FFNN(Fn1)는 PCC 0.128을 기록하여 RNN(PCC = 0.126)와는 약간 뛰어나고, FFNN(PCC = 0.106)보다는 유의미하게 뛰어났다.
• 밀도 예측에서 k-FFNN(Fn1)의 MSE는 0.319로, RNN(0.331), LSTM(0.327), BLSTM(0.329)보다 낮아 보다 뛰어난 회귀 성능을 보였다.
• Fn2와 Fn3를 사용할 경우 성능 저하가 발생하여 PCC 값이 각각 0.185와 0.059로 떨어졌으며, 잘못된 지식 표현 방식이 성능에 악영향을 미친다는 것을 보여주었다.
• 훈련 데이터가 증가함에 따라 k-FFNN와 RNN 간 성능 격차가 좁혀졌고, 더 큰 데이터 스케일에서 두 시스템의 성능이 수렴함을 확인했다.
• 모든 훈련 세트 크기에서 k-FFNN(Fn1)는 표준 FFNN를 일관되게 능가하여 지식 통합의 유용성을 확인했다.