[論文レビュー] k-FFNN: A priori knowledge infused Feed-forward Neural Networks

Sri Harsha Dumpala, Rupayan Chakraborty+1 more|arXiv (Cornell University)|Apr 24, 2017

Music and Audio Processing参考文献 11被引用数 3

ひとこと要約

この論文では、順序データにおける時間的関係の事前知識を統合するフィードフォワードニューラルネットワークアーキテクチャk-FFNNを提案している。これにより、低リソース環境下でも標準的なRNNを上回る性能を達成できる。学習された関数を通じて既知の時間的相関を組み込むことで、k-FFNNはRNNと同等またはそれ以上の性能を発揮し、特に訓練データが限られた状況で顕著である。これは、明示的な知識の組み込みが大規模なRNN学習に依存する必要を減らす可能性を示している。

ABSTRACT

Recurrent neural network (RNN) are being extensively used over feed-forward neural networks (FFNN) because of their inherent capability to capture temporal relationships that exist in the sequential data such as speech. This aspect of RNN is advantageous especially when there is no a priori knowledge about the temporal correlations within the data. However, RNNs require large amount of data to learn these temporal correlations, limiting their advantage in low resource scenarios. It is not immediately clear (a) how a priori temporal knowledge can be used in a FFNN architecture (b) how a FFNN performs when provided with this knowledge about temporal correlations (assuming available) during training. The objective of this paper is to explore k-FFNN, namely a FFNN architecture that can incorporate the a priori knowledge of the temporal relationships within the data sequence during training and compare k-FFNN performance with RNN in a low resource scenario. We evaluate the performance of k-FFNN and RNN by extensive experimentation on MediaEval 2016 audio data ("Emotional Impact of Movies" task). Experimental results show that the performance of k-FFNN is comparable to RNN, and in some scenarios k-FFNN performs better than RNN when temporal knowledge is injected into FFNN architecture. The main contributions of this paper are (a) fusing a priori knowledge into FFNN architecture to construct a k-FFNN and (b) analyzing the performance of k-FFNN with respect to RNN for different size of training data.

研究の動機と目的

• 訓練データが限られた場合にRNNの性能が劣化するという課題に対処すること。
• 順序データタスクにおけるフィードフォワードニューラルネットワークの性能向上に、時間的関係に関する事前知識を活用できるかを調査すること。
• 再帰的フィードバックループに依存せずに、既知の時間的依存関係を組み込む新しいFFNNアーキテクチャの開発。
• さまざまな訓練データサイズにおいて、k-FFNNの性能をRNNおよび標準FFNNと比較すること。
• 明示的な知識の組み込みが、系列モデルにおける大規模データの欠如を補うことができるかを実証すること。

提案手法

• 標準的なFFNNを変更し、事前知識としての時間的関係を入力特徴として組み込むことによりk-FFNNを設計。
• 時間的関係を3つの異なる知識統合関数（Fn1、Fn2、Fn3）で表現し、それぞれが異なる順序的依存性の仮定をエンコード。
• RNNおよびFFNNと同等の損失関数（MSE、PCC）を用いてk-FFNNを訓練し、直接比較を可能にする。
• メディアエバル2016音声データセットを用い、感情的インパクト予測をタスクとし、アーザルとヴァレンスを回帰ターゲットとする。
• 訓練データセットサイズを200から6814サンプルまで変化させ、データ効率を評価。
• MSEおよびピアソン相関係数（PCC）を用いて、k-FFNNをRNN、LSTM、BLSTM、および標準FFNNと比較。

実験結果

リサーチクエスチョン

• RQ1 順序データにおける時間的関係に関する事前知識を、フィードフォワードニューラルネットワークに効果的に統合できるか？
• RQ2 訓練データが限られた状況下で、k-FFNNの性能はRNNと比べてどのように異なるか？
• RQ3 時間的知識表現の選択（例：Fn1対Fn2対Fn3）が、k-FFNNの性能に顕著な影響を与えるか？
• RQ4 RNNが十分なデータがなく苦戦する低リソース環境下で、k-FFNNはRNNを上回ることができるか？
• RQ5 訓練データが増加するに従い、k-FFNNとRNNの性能が収束する性能飽和点が存在するか？

主な発見

• 200件の訓練サンプルでのアーザル予測において、k-FFNN（Fn1）はPCC 0.274を達成し、同じ低データ環境下でRNN（PCC = 0.079）を上回った。
• 6814件の訓練サンプルでのヴァレンス予測において、k-FFNN（Fn1）はPCC 0.128を達成し、RNN（PCC = 0.126）をわずかに上回り、FFNN（PCC = 0.106）を顕著に上回った。
• ヴァレンス予測におけるk-FFNN（Fn1）のMSEは0.319であり、RNN（0.331）、LSTM（0.327）、BLSTM（0.329）を下回り、優れた回帰性能を示した。
• Fn2およびFn3を用いた場合、性能劣化が生じ、PCCはそれぞれ0.185および0.059に低下し、不適切な知識表現が性能に悪影響を及えることが示された。
• 訓練データが増加するに従い、k-FFNNとRNNの性能差は縮まり、大規模なデータスケールでは両者の性能が収束した。
• k-FFNN（Fn1）は、すべての訓練データサイズにおいて標準FFNNを一貫して上回り、知識の組み込みの有効性を確認した。