[論文レビュー] Attention-based Neural Bag-of-Features Learning for Sequence Data

Dat Tran, Nikolaos Passalis+3 more|arXiv (Cornell University)|May 25, 2020

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、時系列データのためのニューラル・バッグ・オブ・フォーチャーズ（NBoF）モデルを向上させるために、時間的およびコードワード次元において量子化特徴量の動的で学習可能な重み付けを可能にする汎用的なアテンション機構、2D-Attention（2DA）を提案する。NBoFに2DAをプラグインモジュールとして統合することで、金融予測、音声分析、医療診断のタスクにおいて、標準的なNBoFやGRUベースのモデルでさえも上回る性能と耐障害性を達成した。

ABSTRACT

In this paper, we propose 2D-Attention (2DA), a generic attention formulation for sequence data, which acts as a complementary computation block that can detect and focus on relevant sources of information for the given learning objective. The proposed attention module is incorporated into the recently proposed Neural Bag of Feature (NBoF) model to enhance its learning capacity. Since 2DA acts as a plug-in layer, injecting it into different computation stages of the NBoF model results in different 2DA-NBoF architectures, each of which possesses a unique interpretation. We conducted extensive experiments in financial forecasting, audio analysis as well as medical diagnosis problems to benchmark the proposed formulations in comparison with existing methods, including the widely used Gated Recurrent Units. Our empirical analysis shows that the proposed attention formulations can not only improve performances of NBoF models but also make them resilient to noisy data.

研究の動機と目的

• 標準的なNBoFモデルが集約の過程ですべての量子化特徴量を等しく扱うという制限を解消し、非定常的かつノイズの多い時系列データにおいて最適でない表現学習を回避すること。
• 行列構造の時系列データにおいて、時間ステップおよびコードワードの両方の次元で特徴量の重要性を動的に割り当てられる汎用的で、即座に利用可能なアテンション機構の開発。
• 金融時系列、音声信号、ECG/心音記録など、ノイズや不均衡な時系列データを含む実世界の応用において、NBoFモデルの表現能力と耐障害性を向上させること。
• アテンションベースのNBoF変種が、多様な時系列学習タスクにおいて、ベースラインNBoFと競争力のある再帰型モデル（例：GRU）を常に上回ることを示すこと。

提案手法

• 2D特徴マップ（時間ステップとコードワードから構成）上での微分可能なアテンション重みを計算する2D-Attention（2DA）を提案。これにより、関連する特徴量に焦点を当てる選択的処理が可能になる。
• 2DAを軽量で学習可能なモジュールとして統合し、NBoFアーキテクチャのさまざまな段階に挿入可能であり、解釈可能な異なるバリエーションを持つ2DA-NBoFモデルの柔軟な設計を可能にする。
• クエリ、キー、バリューの投影を用いたマルチヘッドアテンション機構によりアテンションスコアを計算し、その後ソフトマックス正規化によりアテンション重みを生成し、特徴量の再重み付けに使用する。
• 学習されたアテンション重みを用いて、NBoF集約段階で量子化特徴量の重み付き平均を実行し、標準的な均一平均の代わりに適用する。
• ADAMを用いた確率的最適化により、2DA-NBoFモデル全体をエンド・ツー・エンドで学習し、重み減衰、ドロップアウト、バッチ正規化による正則化を実施する。
• すべてのシーケンスで共有されたコードブックを採用し、バックプロパゲーション中に同時に最適化されるようにコードワードを学習することで、全体の目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 汎用的で学習可能なアテンション機構は、時系列データのためのニューラル・バッグ・オブ・フォーチャーズ（NBoF）モデルの表現力の向上に寄与するか？
• RQ2 提案された2D-Attention機構は、多様な分野において、ノイズや非定常的時系列データに対してNBoFの耐障害性を向上させるか？
• RQ3 金融予測、音声分析、医療診断において、アテンション強化NBoF変種は標準NBoFや確立された再帰型モデル（例：GRU）と比較して、性能に優れているか？
• RQ4 2DAモジュールは、NBoFアーキテクチャの異なる段階に効果的にプラグインとして使用可能であり、解釈可能な異なるモデルバリエーションを生み出すことができるか？

主な発見

• AFデータセットでは、2DA-NBoFモデルが平均F1スコア88.81±1.07を達成し、ベースラインNBoF（88.68±0.95）を顕著に上回り、GRUモデルの性能に近づいた。
• PCGデータセットでは、2DA-NBoFモデルが感度と特異度の平均をそれぞれ72.34±1.32および69.45±0.89を記録し、ノイズの多い医療信号データにおいて優れた性能を示した。
• アテンションベースのモデルは、金融予測、音声分析、医療診断の3分野すべてで一貫した性能向上を示し、一般化可能性と耐障害性を裏付けた。
• 2DAモジュールは、ノイズの多いデータに対してNBoFモデルの耐性を高め、不均衡で非定常な時系列設定でも性能向上が確認された。
• 2DA-NBoF変種は、より単純で効率的であるにもかかわらず、医療診断タスクにおいてGRUベースのモデルと同等またはそれを上回る性能を達成した。
• アブレーションスタディにより、アテンション機構が特徴表現を顕著に向上させたことが確認され、F1スコアおよびバランス精度の両方の指標で性能向上が観察された。