[論文レビュー] A Causality-DeepONet for Causal Responses of Linear Dynamical Systems

Lizuo Liu, Kamaljyoti Nath+1 more|arXiv (Cornell University)|Sep 17, 2022

Structural Health Monitoring Techniques被引用数 8

ひとこと要約

本稿では、線形力学系における因果応答作用素を高精度に学習できる、因果性と畳み込み型重み構造を内蔵した深層作用素ネットワーク（Causality-DeepONet）を提案する。物理的因果性と時不変の時間的ダイナミクスをネットワークアーキテクチャに組み込むことで、極めて少ない訓練データ（10サンプル）でも高い精度を達成し、標準的なDeepONetの変種を上回る性能を示した。

ABSTRACT

In this paper, we propose a DeepONet structure with causality to represent the causal linear operators between Banach spaces of time-dependent signals. The theorem of universal approximations to nonlinear operators proposed in \cite{tianpingchen1995} is extended to operators with causalities, and the proposed Causality-DeepONet implements the physical causality in its framework. The proposed Causality-DeepONet considers causality (the state of the system at the current time is not affected by that of the future, but only by its current state and past history) and uses a convolution-type weight in its design. To demonstrate its effectiveness in handling the causal response of a physical system, the Causality-DeepONet is applied to learn the operator representing the response of a building due to earthquake ground accelerations. Extensive numerical tests and comparisons with some existing variants of DeepONet are carried out, and the Causality-DeepONet clearly shows its unique capability to learn the retarded dynamic responses of the seismic response operator with good accuracy.

研究の動機と目的

• 線形力学系、特に地震動による構造物の動的応答において、因果応答作用素を学習する課題に対処すること。
• 現在のシステム状態が過去および現在の入力にのみ依存する物理的因果性（因果的依存）を、DeepONetフレームワークに組み込むこと。
• 遅れ関数の時不変性と畳み込み構造をネットワーク重みに埋め込むことで、一般化性能を向上させ、データ要件を低減すること。
• 限られた訓練データで地震動による建物応答を予測する際、標準的なDeepONetの変種よりも優れた性能を示すことを実証すること。

提案手法

• Causality-DeepONetは、バナッハ空間上の時系列信号間の因果的作用素を扱う非線形作用素の普遍近似定理を拡張し、因果的作用素の近似を可能にする。
• 入力と出力の時間ラグに依存する畳み込み型重みに置き換えることで、ブランチネットワークの標準的な全結合重みを因果性を満たす形に制約する。
• 時間的基底関数を符号化するためのトランクネットワークと、入力信号（例：地表面加速度）を潜在空間にマッピングするためのブランチネットワークを用いる。
• 出力は、ブランチネットワークが決定する重みに基づくトランクネットワーク出力の重み付き和として計算され、重みは畳み込み的かつ時不変なカーネル構造を反映するように設計されている。
• 時間ラグ全体にわたって共有される畳み込み型重みを用いることで、遅れ関数の物理的性質（時不変性）をアーキテクチャに埋め込む。
• 過学習を防ぐために、L2正則化と学習率スケジューリングを用いたカスタム損失関数を用いてネットワークを訓練する。特に、少数のサンプルでの学習において重要である。

Figure 1: A typical ground acceleration of due to earthquake: The ground acceleration is due to 14383980 earthquake recorded at station North Hollywood, 2008 (a) time history of the acceleration (b) frequency spectrum. The absolute maximum acceleration is indicated which is also known as Peak Ground

実験結果

リサーチクエスチョン

• RQ1 線形力学系における作用素学習に応用するDeepONetアーキテクチャを、物理的因果性を強制する形で体系的に変更可能か？
• RQ2 畳み込み型重み構造を組み込むことで、因果応答作用素の学習における一般化性能とデータ要件の低減がどのように向上するか？
• RQ3 Causality-DeepONetは、標準的なDeepONetの変種よりも著しく少ない訓練サンプルで、建物の地震応答を高精度に予測できるか？
• RQ4 時不変かつ畳み込み型の重み設計を組み込むことで、モデルの未学習の地震入力への一般化能力がどの程度向上するか？

主な発見

• Causality-DeepONetは、10サンプルでの訓練でも標準的なDeepONetの変種よりも顕著に低い相対L2誤差を達成し、優れたデータ効率性を示した。
• 畳み込み構造を備えないバージョンは、100個の訓練サンプルでも満足のいく精度に達しなかったことから、有効な学習に畳み込み構造の必要性が示された。
• 畳み込みと因果性制約を備えたCausality-DeepONetは、地震動による建物の屋上変位応答を良好な精度で予測できた。
• さまざまな活性化関数やネットワークサイズに対しても高い性能を維持したため、アーキテクチャのハイパーパrameterに対して頑健であることが示された。
• 因果性と畳み込み型重み設計の統合により、過去および現在の地震入力に対する構造物の物理的応答をモデル化する遅れ関数（retarded Green’s function）の正確な学習が可能になった。
• テストケースにおいて、標準的なDeepONetおよびマルチスケールDeepONetを上回る性能を示し、因果的で振動的ダイナミクス系に有効であることが確認された。

Figure 2: Schematic Diagram of the DeepONet: A schematic diagram of DeepONet showing branch and the trunk net along with the input data and output. The number of the input neurons of the branch net is equal to the number of sensor points in the input signals. The trunk net takes the input point $x$