[論文レビュー] Focusing on What is Relevant: Time-Series Learning and Understanding using Attention

Phongtharin Vinayavekhin, Subhajit Chaudhury+5 more|arXiv (Cornell University)|Jun 22, 2018

Time Series Analysis and Forecasting参考文献 22被引用数 4

ひとこと要約

本論文は、時間系列タスクにおける集中的で解釈可能な注目を可能にするために、入力シーケンス全体を用いて注目重みを計算する時間的アテンション層を提案する。この手法は、アクション分類、データ補完、キーフレーム検出の分野で最先端の精度を達成するとともに、RNNベースのアテンション機構と比較して、より明確で直感的な注目可視化を実現する。

ABSTRACT

This paper is a contribution towards interpretability of the deep learning models in different applications of time-series. We propose a temporal attention layer that is capable of selecting the relevant information to perform various tasks, including data completion, key-frame detection and classification. The method uses the whole input sequence to calculate an attention value for each time step. This results in more focused attention values and more plausible visualisation than previous methods. We apply the proposed method to three different tasks. Experimental results show that the proposed network produces comparable results to a state of the art. In addition, the network provides better interpretability of the decision, that is, it generates more significant attention weight to related frames compared to similar techniques attempted in the past.

研究の動機と目的

• 時間系列応用におけるディープラーニングモデルの解釈性を向上させるために、解釈可能なアテンション機構をネットワークアーキテクチャに直接埋め込むこと。
• RNNベースのアテンション機構の限界、すなわちぼんやりとした注目重みと重要な時間的依存関係の不明瞭さを是正すること。
• 関連する時間ステップに集中した注目を可能にし、性能を損なわずにモデルの説明可能性を向上させること。
• 分類、補完、キーフレーム検出を含む多様な時間系列タスクにおいて、提案されたアテンション層の有効性を実証すること。

提案手法

• 入力シーケンス全体に基づいて注目重みを計算する時間的コンテキスト層を導入し、単一の潜在ベクトルではなく、全シーケンスを基に計算する。
• 全シーケンスを表現するための密接なエンコーダーを用い、注目計算に向けたグローバルな文脈認識を可能にする。
• 意思決定に寄与する関連時間ステップを強調する動的重みを計算するために、アテンション機構を適用する。
• データ補完のためのオートエンコーダーとアクション認識のための分類モデルの2つのアーキテクチャに、提案された層を統合する。
• 自己アテンション機構を用いることで、ネットワークが顕著なフレームに注目しつつも、高い精度を維持できる。
• 異なる表現における多様な時間的依存関係を捉えるために、マルチヘッドアテンション機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 全シーケンスに基づく自己アテンション機構は、RNNベースのアテンションと比較して、時間系列モデリングにおける解釈性を向上させることができるか？
• RQ2 提案されたアテンション層は、特にキーフレーム検出において、従来の手法よりも集中した注目分布を生成するか？
• RQ3 モデルは競争力のある性能を維持しつつ、意思決定に関連するフレームの可視化をより明確にできるか？
• RQ4 BiLSTM や MLP アーキテクチャを用いた最先端モデルと比較して、精度と学習効率の点で本手法は優れているか？

主な発見

• 提案手法はKIT-アクション分類データセットで85.9% ± 2.7の精度を達成し、BiLSTM + アテンション（85.4%）を上回り、比較対象の中で最高性能を示したモデルと同等の性能を発揮した。
• 密接なエンコーダーを搭載したモデルは、学習に56.5秒（52エポック）で完了したが、BiLSTMベースのモデル（225.5～584.0秒）と比べて著しく高速であった。
• パラメータ数が大幅に削減され、標準的なMLPと比較して、提案モデルでは4,732にまで減少した（MLP：933,081）。
• 注目可視化では、モデルが「bow」のアクションに対してわずか数フレーム（例：フレーム58）に集中していることが確認され、人間の直感と一致し、類似アクションと明確に区別されていた。
• 一方で、BiLSTM + フィードフォワードアテンションは、関連のないフレームを含む広範な注目を示し、解釈性が低下していた。
• 混同行列の結果、'bow'、'golf'、'squat'の分類は完璧に分離されており、キーフレームがこれらのアクションを他のものと明確に区別していた。