[論文レビュー] Multifactor Sequential Disentanglement via Structured Koopman Autoencoders

Nimrod Berman, Ilan Naiman+1 more|arXiv (Cornell University)|Mar 30, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本論文は、Koopman作用素理論を用いて潜在空間における線形ダイナミクスを活用することで、教師なしの深層学習モデル、構造的Koopmanオートエンコーダーを提案する。新たなスペクトル損失により、固有値分解を介して静的要因と動的要因の明確な分離が実現され、識別、ポーズ、運動といった複数の意味的要因を教師なしで分離生成・操作可能となる。ベンチマークタスクにおいて、先行する教師なし手法を上回る性能を発揮する。

ABSTRACT

Disentangling complex data to its latent factors of variation is a fundamental task in representation learning. Existing work on sequential disentanglement mostly provides two factor representations, i.e., it separates the data to time-varying and time-invariant factors. In contrast, we consider multifactor disentanglement in which multiple (more than two) semantic disentangled components are generated. Key to our approach is a strong inductive bias where we assume that the underlying dynamics can be represented linearly in the latent space. Under this assumption, it becomes natural to exploit the recently introduced Koopman autoencoder models. However, disentangled representations are not guaranteed in Koopman approaches, and thus we propose a novel spectral loss term which leads to structured Koopman matrices and disentanglement. Overall, we propose a simple and easy to code new deep model that is fully unsupervised and it supports multifactor disentanglement. We showcase new disentangling abilities such as swapping of individual static factors between characters, and an incremental swap of disentangled factors from the source to the target. Moreover, we evaluate our method extensively on two factor standard benchmark tasks where we significantly improve over competing unsupervised approaches, and we perform competitively in comparison to weakly- and self-supervised state-of-the-art approaches. The code is available at https://github.com/azencot-group/SKD.

研究の動機と目的

• 識別、ポーズ、運動などの2つ以上の意味的要因（例：識別、ポーズ、運動）を分離できる、順序データにおける教師なし多要因分離手法の不足に対処する。
• 従来の教師なしモデルが時間変動要因と時間不変要因の2要因にのみ分離可能であるという制限を克服する。
• 順序ダイナミクスが潜在空間で線形的に表現可能であると仮定するKoopman理論に基づく強いインダクティブバイアスを導入する。
• 静的要因（1に近い固有値）と動的要因（1から離れた固有値）に対応する固有ベクトルの明確な分離を促進する、構造的Koopman行列を強制するスペクトルペナルティ損失を提案する。
• 静的要因を固定した無条件生成や、個々の要因を段階的に入れ替えるといった実用的分離機能を実現する。

提案手法

• 潜在空間における線形作用素（Koopman行列）を用いて順序データのダイナミクスをモデル化するKoopmanオートエンコーダー枠組みを提案する。
• 固有値のクラスタリングを抑制し、静的要因（1に近い）と動的要因（1から離れた）に対応する固有値の分離を促進する、新規のスペクトル損失項 $\mathcal{L}_{\text{eig}}$ を適用する。
• Koopman行列の固有値分解を用いて分離要因を抽出する。各固有ベクトルは一意の意味的要因に対応し、その固有値に基づいて静的または動的要因に分類される。
• 教師なしで完全に動作するモデルを設計し、ラベルや補助的教師信号を一切不要とし、再構成損失とスペクトル正則化に基づく学習に依存する。
• ハイパーパrameterにより要因数を制御可能であり、各要因がKoopman作用素の固有ベクトルに対応するように設計する。
• SVDに基づく疑似逆行列計算を用いてKoopmanレイヤーを実装し、効率的な学習を実現。固有値分解はスペクトル正則化のための損失関数でのみ使用される。

実験結果

リサーチクエスチョン

• RQ1 スペクトル正則化損失を備えたKoopmanベースのオートエンコーダーは、教師なしで順序データにおける多要因分離を達成できるか？
• RQ2 提案されたスペクトル損失は、代替損失と比較してKoopman行列スペクトルにおける静的要因と動的要因の分離にどの程度効果的か？
• RQ3 本モデルは、複数のシーケンス間で個々の静的要因を段階的にスワップするといった、実用的分離操作をどの程度サポートできるか？
• RQ4 標準ベンチマークにおいて、本モデルの性能は、最先端の教師あり・弱教師あり・自己教師あり手法と比較してどの程度か？
• RQ5 本手法の計算的・パラメータ効率は、既存の手法と比較してどの程度か？

主な発見

• 提案手法は、標準的な2要因分離ベンチマークにおいて、競合する教師なしモデルを著しく上回り、優れた分離品質を示した。
• スペクトル損失により、固有値が明確に1に近い（静的要因）と1から離れた（動的要因）クラスタに分離され、堅牢な分離が可能となった。
• 本モデルは、従来の教師なしモデルが対応できない、ソースとターゲットシーケンス間で個々の静的要因を段階的にスワップするといった、新たな分離機能を実現した。
• 完全に教師なしであるにもかかわらず、弱教師あり・自己教師ありの最先端手法と比較して競争力のある性能を達成した。
• モデルはたった200万パラメータで構成され、他の手法（例：1100万～1億2100万）と比較して顕著に少ない。データオーグメンテーションや外部教師信号も不要である。
• アブレーションスタディにより、スペクトル損失が不可欠であることが確認された。これなしのモデルでは固有値クラスタが重複し、分離が困難であった。