[論文レビュー] Learning Disentangled Representations for Time Series

Yuening Li, Zhengzhang Chen+5 more|arXiv (Cornell University)|May 17, 2021

Time Series Analysis and Forecasting参考文献 40被引用数 6

ひとこと要約

本稿では、時間系列表現学習のための新規分離枠組みDTSを提案する。DTSは、個々の潜在要因とグループレベルの意味的セグメントを分離することで、多段階の分離を達成する。自己下界（ELBO）の分解に相互情報量の最大化と強化された正則化を導入することで、KL消失問題を軽減し、解釈可能で意味的に意味のある表現を学習する。この表現は、従来手法を上回る性能を示し、順序パターンの直感的な操作を可能にする。

ABSTRACT

Time-series representation learning is a fundamental task for time-series analysis. While significant progress has been made to achieve accurate representations for downstream applications, the learned representations often lack interpretability and do not expose semantic meanings. Different from previous efforts on the entangled feature space, we aim to extract the semantic-rich temporal correlations in the latent interpretable factorized representation of the data. Motivated by the success of disentangled representation learning in computer vision, we study the possibility of learning semantic-rich time-series representations, which remains unexplored due to three main challenges: 1) sequential data structure introduces complex temporal correlations and makes the latent representations hard to interpret, 2) sequential models suffer from KL vanishing problem, and 3) interpretable semantic concepts for time-series often rely on multiple factors instead of individuals. To bridge the gap, we propose Disentangle Time Series (DTS), a novel disentanglement enhancement framework for sequential data. Specifically, to generate hierarchical semantic concepts as the interpretable and disentangled representation of time-series, DTS introduces multi-level disentanglement strategies by covering both individual latent factors and group semantic segments. We further theoretically show how to alleviate the KL vanishing problem: DTS introduces a mutual information maximization term, while preserving a heavier penalty on the total correlation and the dimension-wise KL to keep the disentanglement property. Experimental results on various real-world benchmark datasets demonstrate that the representations learned by DTS achieve superior performance in downstream applications, with high interpretability of semantic concepts.

研究の動機と目的

• 医療などハイリスク分野において、既存の時間系列表現学習手法の解釈可能性の欠如に対処すること。
• 複雑な時間的相関とKL消失問題を含む、順序データの分離表現学習における課題を克服すること。
• 階層的で解釈可能な表現を可能にするために、個々の要因の分離とグループレベルの意味的セグメントの分離を両立させること。
• 再構成精度、分離性、正しい推論のバランスを取る訓練目的関数を開発し、KL消失問題を軽減すること。
• 非教師あり学習で分離可能な表現を学習でき、意味的に意味のある、操作可能な特徴量を提供できることを実証すること。

提案手法

• DTSは、潜在空間における個々の潜在要因とグループレベルの意味的セグメントを分離する多段階分離戦略を採用する。
• 再構成損失、分離正則化、推論精度のバランスを取るために、Evidence Lower Bound（ELBO）の分解を導入する。
• KL消失問題を緩和するために、相互情報量の最大化項を組み込みつつ、全相関と次元別KL発散により強いペナルティを課す。
• LSTMベースの推論および生成ネットワークを備えた変分オートエンコーダー構造を用い、順序依存性をモデル化する。
• 潜在変数の走査とT-SNE可視化を用いて、学習された要因の解釈可能性と分離性を定性的に評価する。
• ドメイン不変およびクラス不変の分離をサポートし、ドメインおよびクラスをまたがる堅牢な表現学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な時間的相関が存在するにもかかわらず、時間系列データに対して効果的に分離可能な表現を学習できるか？
• RQ2 順序VAEにおけるKL消失問題は、分離性を損なわずに対処できるか？
• RQ3 個々の潜在変数とグループレベルの意味的セグメントの両方が分離可能であり、階層的解釈性を可能にするか？
• RQ4 学習された表現が、順序パターンの直感的かつ操作可能な性質をどの程度サポートするか？
• RQ5 分離可能な表現は、分類やクラスタリングなどの下流タスクにおいてパフォーランスを向上させられるか？

主な発見

• DTSは、心電図波形の変化など、連続的で解釈可能な順序パターンの操作が可能な分離可能な表現を効果的に学習した。
• 潜在変数の走査結果から、個々の潜在変数が明確に直交する順序的トレンドを制御しており、[-4, 4]の範囲で滑らかな遷移が確認された。
• T-SNE可視化から、ドメイン依存およびクラス依存の特徴量はより明確に分離されている一方で、ドメインおよびクラス不変の特徴量は識別不能であることが確認され、有効な分離性が裏付けられた。
• ターゲットドメインにおけるクラスタリング性能が強く、意味的に類似した時間系列が分離空間内で近接にマッピングされていることが示された。
• DTSは下流タスクにおいてベースライン手法を上回り、高い解釈性を兼ね備えた優れたパフォーマンスを示した。
• 相互情報量の最大化の導入により、KL消失問題が効果的に軽減されたが、分離性に悪影響を与えることなく、分離性が維持された。