[論文レビュー] SVD Perspectives for Augmenting DeepONet Flexibility and Interpretability

Simone Venturi, Tiernan Casey|arXiv (Cornell University)|Apr 27, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

本稿では、特異値分解（SVD）および固有正交分解（POD）技術を統合することで、柔軟性と解釈可能性を向上させるSVD-DeepONetおよびflexDeepONetを提案する。事前変換ネットワークを用いて剛体運動（例：回転、平行移動）を分離することで、flexDeepONetはトレーニング可能なパラメータを最大98.8％削減し、一般化性能を向上させ、対称性を有する問題において、通常のDeepONetよりもはるかに少ないパラメータで高い精度を達成する。

ABSTRACT

Deep operator networks (DeepONets) are powerful architectures for fast and accurate emulation of complex dynamics. As their remarkable generalization capabilities are primarily enabled by their projection-based attribute, we investigate connections with low-rank techniques derived from the singular value decomposition (SVD). We demonstrate that some of the concepts behind proper orthogonal decomposition (POD)-neural networks can improve DeepONet's design and training phases. These ideas lead us to a methodology extension that we name SVD-DeepONet. Moreover, through multiple SVD analyses, we find that DeepONet inherits from its projection-based attribute strong inefficiencies in representing dynamics characterized by symmetries. Inspired by the work on shifted-POD, we develop flexDeepONet, an architecture enhancement that relies on a pre-transformation network for generating a moving reference frame and isolating the rigid components of the dynamics. In this way, the physics can be represented on a latent space free from rotations, translations, and stretches, and an accurate projection can be performed to a low-dimensional basis. In addition to flexibility and interpretability, the proposed perspectives increase DeepONet's generalization capabilities and computational efficiencies. For instance, we show flexDeepONet can accurately surrogate the dynamics of 19 variables in a combustion chemistry application by relying on 95% less trainable parameters than the ones of the vanilla architecture. We argue that DeepONet and SVD-based methods can reciprocally benefit from each other. In particular, the flexibility of the former in leveraging multiple data sources and multifidelity knowledge in the form of both unstructured data and physics-informed constraints has the potential to greatly extend the applicability of methodologies such as POD and PCA.

研究の動機と目的

• PODやPCAといったSVDベースの手法と結びつけることで、DeepONetの解釈可能性と一般化性能を向上させること。
• 回転、平行移動、伸縮などの対称性を有する動的システムの表現において、DeepONetの非効率性を解消すること。
• 剛体運動を分離するための移動基準座標系を学習する事前変換ネットワークを設計すること。
• 物理的現象を剛体運動を含まない低次元の潜在空間に正確に投影できるようにすること。
• DeepONetが固定グリッドや既知のデータ構造に依存しない非グリッド・非一様時間データに対しても、PODやSVDベースの手法を拡張可能であることを実証すること。

提案手法

• PODモードをトランクネットとして使用し、係数をブランチネットで学習することで、SVD-DeepONetを用いてSVDとPODをDeepONetに統合する。
• 時間的・シナリオ的集約スナップショット行列にSVDを適用し、対称的動的システムの表現におけるDeepONetの非効率性を特定する。
• 剛体運動を変形から分離する移動基準座標系を学習する事前変換ネットワークを備えたflexDeepONetを設計する。
• 回転、平行移動、伸縮を含む動的システムをトレーニングすることで、対称性を含まない潜在空間に物理的現象を分離する。
• 移動基準座標系を活用して、低次元基底への正確な投影を可能にし、効率性と一般化性能を向上させる。
• 常微分方程式と2次元剛体運動問題を用いて、パラメータ数と精度を通常のDeepONetと比較して、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 SVDおよびPOD技術を活用することで、複雑な力学系を表現する際のDeepONetの解釈可能性と一般化性能はどのように向上するか？
• RQ2 なぜDeepONetは回転や平行移動などの対称性を有する動的システムの表現において、劣悪な性能を示すのか？
• RQ3 移動基準座標系を学習する事前変換ネットワークを導入することで、DeepONetの対称的動的システムのモデル化能力は向上するか？
• RQ4 DeepONetを用いることで、PODのようなSVDベースの手法は、グリッドに沿わない、時間的に一様でないデータに対してもどの程度拡張可能か？
• RQ5 対称的システムにおいて、flexDeepONetアーキテクチャは通常のDeepONetと比較して、パラメータ効率性と予測精度の点でどの程度優れているか？

主な発見

• 2次元剛体運動問題において、flexDeepONetは通常のDeepONetと比較してトレーニング可能なパラメータを98.8％削減し、わずか1,921パラメータで実現した。
• 空間的トレーニング範囲外でも動的システムの再構築に高い精度を示し、一般化性能の向上を実証した。
• 燃焼化学の応用において、flexDeepONetは通常のDeepONetと比較して95％のパラメータ削減を達成しながら、19個の熱力学的変数においても高い精度を維持した。
• SVD解析から、DeepONetの投影ベース設計は対称的動的システムの表現において非効率であることが判明し、これに起因してflexDeepONetの開発が促された。
• 事前変換ネットワークによって得られる移動基準座標系のおかげで、剛体成分を含まない物理的現象の正確な低次元表現が可能になった。
• 事後的に移動基準座標系の座標を分離・分析可能であるため、解釈可能性が向上した。