[論文レビュー] Convolutional RNN: an Enhanced Model for Extracting Features from Sequential Data

Gil Keren, Björn W. Schuller|arXiv (Cornell University)|Feb 18, 2016

Music and Audio Processing参考文献 27被引用数 18

ひとこと要約

本稿では、局所的なウィンドウをフレーム単位で再帰層（LSTM/GRU）を用いて処理することで、各ウィンドウ内の時間的構造を活用し、順序データからの特徴抽出を向上させる畳み込み再帰ニューラルネットワーク（CRNN）を提案する。この手法は、特にログメルフィルタバンクなどの低複雑性特徴を用いた音声分類タスクにおいて、標準的な畳み込み層を上回る性能を示し、データパッチにおけるより豊富で多段階の非線形変換を活用することで分類精度が向上することを示している。

ABSTRACT

Traditional convolutional layers extract features from patches of data by applying a non-linearity on an affine function of the input. We propose a model that enhances this feature extraction process for the case of sequential data, by feeding patches of the data into a recurrent neural network and using the outputs or hidden states of the recurrent units to compute the extracted features. By doing so, we exploit the fact that a window containing a few frames of the sequential data is a sequence itself and this additional structure might encapsulate valuable information. In addition, we allow for more steps of computation in the feature extraction process, which is potentially beneficial as an affine function followed by a non-linearity can result in too simple features. Using our convolutional recurrent layers we obtain an improvement in performance in two audio classification tasks, compared to traditional convolutional layers. Tensorflow code for the convolutional recurrent layers is publicly available in https://github.com/cruvadom/Convolutional-RNN.

研究の動機と目的

• 従来の畳み込み層が単純なアフィン変換に続いて非線形関数を適用するため、順序データに対して最適でない特徴が得られる可能性があるという制限を解消すること。
• 音声のフレームなどの局所的データウィンドウ内に内在する順序構造を活用し、より複雑で文脈に配慮した特徴を再帰ネットワークを用いて抽出すること。
• 標準的な畳み込み層の代わりに再帰ベースの特徴抽出機構を導入することで、音声タスクにおける分類性能を向上させること。
• 入力特徴が低複雑性である場合に、データパッチの再帰的処理が標準的な畳み込み操作よりも優れた表現学習をもたらすかどうかを評価すること。

提案手法

• CRNNモデルは、順序データの各局所的ウィンドウを、再帰層（LSTMまたはGRU）を用いてフレーム単位で処理し、ウィンドウ内での時間的依存関係を捉える。
• 各時刻における再帰層の隠れ状態、出力、またはセル状態を、そのウィンドウの最終的特徴表現を計算するために用いる。
• 3つのバリエーションを提案：CLSTM（単方向）、拡張CLSTM（追加の全結合層を備える）、CBLSTM（双方向で、前方と後方のLSTM出力を学習可能な重みで結合）。
• 特徴抽出は、各ウィンドウの再帰出力の系列に対してプーリング操作（例：マックスプーリング）を適用することで実施する。
• 音声分類タスクにおけるエンドツーエンド学習を可能にするために、大規模なディープラーニングアーキテクチャに統合する。
• CRNNレイヤー用のTensorFlowコードはGitHubで公開されており、再現性と他のモデルへの統合を可能としている。

実験結果

リサーチクエスチョン

• RQ1 局所的データウィンドウの再帰的処理は、順序データにおいて標準的な畳み込み層と比較して、特徴表現を向上させることができるか？
• RQ2 データパッチ（例：音声フレーム）内の内部時間的構造を活用することで、音声タスクにおける分類性能が向上するか？
• RQ3 単方向と双方向の異なる再帰アーキテクチャが、特徴抽出および下流の分類精度に与える影響は何か？
• RQ4 入力特徴が低複雑性（例：ログメルフィルタバンク）または高レベルの手作業特徴（例：eGeMAPS）である場合に、CRNNがどの程度性能向上を達成できるか？
• RQ5 CRNNモデルは音声に限らず、音声認識や動画分類などの他の順序データタスクにも一般化して効果的に適用可能か？

主な発見

• CRNNモデルは、低複雑性のログメルフィルタバンク特徴を用いても、標準的な畳み込み層よりも優れた分類精度を達成した。
• 双方向LSTMを用い、前方と後方の出力を学習可能な重みで結合するCBLSTMバージョンが、単方向のCLSTMバージョンを上回った。これは、将来の文脈を考慮することで特徴品質が向上することを示唆している。
• CLSTMモデルにおけるセル状態は、次の時刻のメモリとしての役割と、特徴入力としての役割を同時に果たしており、これが性能に制限を及える可能性があった。CBLSTMの設計により、これらの役割が分離されたことで、この問題が緩和された。
• eGeMAPSのような高レベルの特徴を用いても、CRNNモデルは標準的な畳み込み層よりも測定可能な改善を示した。これは、モデルが追加の有用な情報を抽出できることを示している。
• ウィンドウサイズに応じて、パラメータ数がウィンドウ長に比例して増加しない（拡張CLSTMを除く）ため、CRNNモデルは長時間系列データに対しても効率的にスケーリング可能である。