[論文レビュー] Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes

Peter Holderrieth, Michael Hutchinson+1 more|arXiv (Cornell University)|Nov 25, 2020

Gaussian Processes and Bayesian Inference参考文献 46被引用数 4

ひとこと要約

本稿では、物理学および工学分野のベクトル場のような確率的場を学習するための、回転および反転に対して不変性を有する新規な等変モデルであるSteerable Conditional Neural Processes（SteerCNPs）を紹介する。群論と可変カーネルを用いて回転および反転に対する等変性を強制することで、合成データおよび実世界データにおいて優れた汎化性能と耐障害性を達成し、尤度推定および転移学習の両タスクでベースラインモデルを上回る性能を発揮する。特にデータ拡張および分布シフトの条件下でも顕著な優位性を示す。

ABSTRACT

Motivated by objects such as electric fields or fluid streams, we study the problem of learning stochastic fields, i.e. stochastic processes whose samples are fields like those occurring in physics and engineering. Considering general transformations such as rotations and reflections, we show that spatial invariance of stochastic fields requires an inference model to be equivariant. Leveraging recent advances from the equivariance literature, we study equivariance in two classes of models. Firstly, we fully characterise equivariant Gaussian processes. Secondly, we introduce Steerable Conditional Neural Processes (SteerCNPs), a new, fully equivariant member of the Neural Process family. In experiments with Gaussian process vector fields, images, and real-world weather data, we observe that SteerCNPs significantly improve the performance of previous models and equivariance leads to improvements in transfer learning tasks.

研究の動機と目的

• 物理的対称性、たとえば回転および反転を尊重する確率的場のための機械学習モデルを開発すること。
• 空間変換（回転や反転など）に対してガウス過程が等変となる条件を形式化すること。
• 可変カーネルと群表現を用いて等変性を強制する新しいニューラルプロセスの変種、SteerCNPsを設計すること。
• 少サンプルおよび分布外設定における、より優れた性能と汎化性能を実証すること。
• 等変深層学習と確率的モデリングを統合し、科学的機械学習に応用すること。

提案手法

• 本稿では、群表現理論を用いて、ベクトル値ガウス過程が直交変換に対して等変となるための必要十分条件を導出する。
• C₄、C₈、D₄、D₈などのO(n)の有限部分群に対して等変性を保証する、繊維表現を用いた可変畳み込み層を備えた条件付きニューラルプロセス、SteerCNPsを導入する。
• 文脈点が群作用の下で予測場と一貫して変換されるように、群に等変なメッセージパッシング機構を採用する。
• 群作用の下でモデルの出力が入力と同じように変換されるように保つことで等変性を維持し、群Hの非可約表現を用いる。
• 尤度最大化を用いてエンドツーエンドで学習を行い、共分散にはソフトプラス活性化関数、平均にはシグモイド関数を用いて不変性と有界出力を維持する。
• 空白画像および回転させた数字を用いたデータ拡張により、分布シフトや文脈外一般化に対する耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 回転や反転などの空間変換に対して、確率的場モデルがいつ等変性を示すのか？
• RQ2 Rⁿにおける一般の直交変換に対して等変性を示すガウス過程をどのように構築できるか？
• RQ3 回転や反転といった並進対称性のない非等変性を有するニューラルプロセスモデルを設計できるか？
• RQ4 等変性を強制することで、少サンプルおよび分布外設定における汎化性能と耐障害性が向上するか？
• RQ5 等変性は、気象場やベクトル場といった実世界の科学的データに対して、性能にどのように影響を与えるか？

主な発見

• SteerCNPsはベースラインモデルよりも顕著に高い対数尤度スコアを達成し、回転させたMNISTデータ上で平均テスト対数尤度が1.18 ± 0.02を記録したのに対し、ConvCNPは1.06 ± 0.04であった。
• D₈対称性を用いて学習したモデルが最も高い性能を示し、より豊かな対称性群が汎化性能の向上に寄与することを示唆している。
• 定性的な結果から、SteerCNPsは回転に対して一貫した予測を維持している一方で、非等変モデル（例：ConvCNP）は文脈セットを回転させると不規則な出力を示す。
• 外挿タスクにおいて、SteerCNPsは未観測領域や大きなキャンバスに対してもより良い一般化性能を示し、文脈点から離れた領域でのノイズの多い予測が減少した。
• 訓練時に空白画像を含めることで、大規模な空領域を含むテストセットへの一般化性能が向上し、分布シフトの問題が軽減された。
• 等変性の導入により、特に回転および分布シフトの条件下で転移学習性能が向上し、物理的インダクティブバイアスの有効性が裏付けられた。