[論文レビュー] Target-Embedding Autoencoders for Supervised Representation Learning

Daniel Jarrett, Mihaela van der Schaar|arXiv (Cornell University)|Jan 23, 2020

Topic Modeling参考文献 77被引用数 5

ひとこと要約

本稿では、入力特徴量から予測可能で、かつ高次元のターゲットを予測可能となるような潜在表現を同時に最適化する、教師あり表現学習フレームワーク「ターゲット埋め込みオートエンコーダー（Tea）」を提案する。ターゲット埋め込みにおける補助再構成損失を組み込むことで、明示的な正則化を用いずに一般化性能を向上させ、線形および非線形の再帰的アーキテクチャを用いた多変量時系列予測タスクで最先端の性能を達成した。実世界の医療データを用いた検証が行われた。

ABSTRACT

Autoencoder-based learning has emerged as a staple for disciplining representations in unsupervised and semi-supervised settings. This paper analyzes a framework for improving generalization in a purely supervised setting, where the target space is high-dimensional. We motivate and formalize the general framework of target-embedding autoencoders (TEA) for supervised prediction, learning intermediate latent representations jointly optimized to be both predictable from features as well as predictive of targets---encoding the prior that variations in targets are driven by a compact set of underlying factors. As our theoretical contribution, we provide a guarantee of generalization for linear TEAs by demonstrating uniform stability, interpreting the benefit of the auxiliary reconstruction task as a form of regularization. As our empirical contribution, we extend validation of this approach beyond existing static classification applications to multivariate sequence forecasting, verifying their advantage on both linear and nonlinear recurrent architectures---thereby underscoring the further generality of this framework beyond feedforward instantiations.

研究の動機と目的

• 多ラベル分類や多変量時系列予測のような、ターゲット空間が高次元であるような教師あり設定において、効果的な表現を学習するという課題に対処すること。
• 純粋な教師あり学習において一般化性能を向上させるために、補助的なターゲット埋め込みの再構成を活用する統一フレームワーク「ターゲット埋め込みオートエンコーダー（Tea）」を形式化すること。
• 線形ケースにおいて一様安定性を用いた一般化の理論的保証を提示し、補助タスクをある種の暗黙の正則化と解釈すること。
• 静的分類を超えた実証的検証を提供し、非線形再帰的アーキテクチャを用いた多変量時系列予測への応用を拡張すること。
• 分布シフト、特に異なる患者のデモグラフィック要因を含む外部分布データでの一般化性能を示すこと。

提案手法

• Teaは、入力特徴量 x を潜在表現 z に写像する共有エンコーダー φ: X → Z を用い、z はターゲット予測 d: Z → Y およびターゲット埋め込み再構成 r: Z → Y の両方で使用される。
• モデルは、L = (1/N)Σ[ℓ_p(ŷ_n, y_n) + ℓ_r(ỹ_n, y_n)] という合成損失関数を用いてエンドツーエンドで訓練される。ここで ℓ_p は主な予測損失、ℓ_r はターゲット埋め込みにおける補助再構成損失である。
• このフレームワークは、フィードフォワードおよび再帰的ニューラルネットワークを含む任意のアーキテクチャに適用可能であり、連続的および離散的ターゲット空間の両方をサポートする。
• 段階的トレーニング手順が採用される：まずエンコーダーを再構成タスクで事前学習し、次にエンコーダーと予測器を共同で微調整し、最後にモデル全体を微調整する。
• 理論的分析により、線形Teaにおける一様安定性が確立され、不安定性の上界が O(1/N) であることが示され、これは正則化に基づくノルムバイアスを明示的に用いなくても一般化が保証されることを示唆する。
• 実証的評価では、実世界の多変量疾患経路データセット（例：UKCF）を用い、線形および非線形再帰的モデルにおいて、Teaを標準ベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 ターゲット空間が高次元であるような純粋な教師あり学習において、ターゲット埋め込みの補助的再構成が一般化性能を向上させるか？
• RQ2 Teaにおける補助的再構成タスクは暗黙の正則化として機能するのか？その理論的裏付けは可能か？
• RQ3 Teaは静的分類を越えて、多変量疾患経路予測のような複雑な時系列予測タスクにも一般化可能か？
• RQ4 異なる患者のデモグラフィック要因（例：性別）を含む外部分布データでテストした場合、Teaの性能は分布シフトに対してどのように影響を受けるか？
• RQ5 Teaにおける段階的トレーニング手順の最適なトレーニング順序は何か？最終的な性能に影響を与えるか？

主な発見

• Teaは、実世界の医療データセットを用いた多変量時系列予測タスクで、線形および非線形再帰的アーキテクチャの両方において、標準ベースラインを上回る最先端の性能を達成した。
• 線形ケースでは、O(1/N) の不安定性上界を示す一様安定性を示し、補助再構成タスクの一般化への寄与を理論的に裏付けた。
• UKCFデータセットでは、感染症予測で AUC 0.767 ± 0.026、共存疾患予測で AUC 0.767 ± 0.042 を達成し、次に良い手法を顕著に上回った。
• 正確性と再現率に関しては、Prc(c) で 0.559 ± 0.060、Prc(i) で 0.450 ± 0.035 を達成し、比較対象と比べて統計的に有意な改善が見られた（p < 0.05）。
• 分布シフトに対して強いロバストネスを示し、外部分布データ（例：男性対女性患者）でテストした場合、性能に統計的に有意な低下が見られなかった。これは強力な一般化性能を示している。
• 感度分析により、トレーニング順序が重要であることが確認された。「1-2-3」手順（エンコーダーを事前学習 → 共同微調整 → モデル全体の微調整）が、他の順序（例：「3-1-2」）を上回り、特に「1-2」単体とほぼ同等の性能であった。