[論文レビュー] Finding NEEMo: Geometric Fitting using Neural Estimation of the Energy Mover's Distance

O. Kitouni, N. S. Nolte+1 more|arXiv (Cornell University)|Sep 30, 2022

Medical Imaging Techniques and Applications被引用数 4

ひとこと要約

本稿では、Kantorovich-Rubinstein双対性を用いたエネルギー・ムーバーズ・ディスタンス（EMD）のニューラル推定により、ε近似を用いない正確で勾配ベースの最適化を可能にする、微分可能几何的フィッティングフレームワークであるNEEMoを紹介する。1-Lipschitz制約を満たすニューラルネットワークアーキテクチャを活用することで、高エネルギー物理学分野の応用、例えばジェットのサブストラクチャクラスタリングやイベント幾何フィッティングにおいて、正確で微分可能なEMD計算が可能となり、合成実験においてターゲット分布との最高水準の整合性を達成した。

ABSTRACT

A novel neural architecture was recently developed that enforces an exact upper bound on the Lipschitz constant of the model by constraining the norm of its weights in a minimal way, resulting in higher expressiveness compared to other techniques. We present a new and interesting direction for this architecture: estimation of the Wasserstein metric (Earth Mover's Distance) in optimal transport by employing the Kantorovich-Rubinstein duality to enable its use in geometric fitting applications. Specifically, we focus on the field of high-energy particle physics, where it has been shown that a metric for the space of particle-collider events can be defined based on the Wasserstein metric, referred to as the Energy Mover's Distance (EMD). This metrization has the potential to revolutionize data-driven collider phenomenology. The work presented here represents a major step towards realizing this goal by providing a differentiable way of directly calculating the EMD. We show how the flexibility that our approach enables can be used to develop novel clustering algorithms.

研究の動機と目的

• 従来の方法が用いるε近似を避けることにより、高エネルギー物理学におけるエネルギー・ムーバーズ・ディスタンス（EMD）の微分可能かつ正確な計算手法を開発すること。
• Kantorovich-Rubinstein双対性と1-Lipschitzニューラルネットワークを活用して、正確なEMDに対する勾配ベース最適化を可能にすること。
• ジェットへのイベントクラスタリングや、パラメトリック形状をターゲットイベント分布に一致させるような幾何フィッティングタスクにフレームワークを適用すること。
• サブストラクチャや検出器効果に敏感な、高精度な幾何観測量を構築するための柔軟で微分可能なフレームワークを提供すること。
• 次世代コライダー実験、例えば電子-イオンコライダー（EIC）において、従来のクラスタリング手法が不適切である状況でのNEEMoの可能性を調査すること。

提案手法

• Wasserstein-1距離のKantorovich-Rubinstein双対表現を用いて、EMD計算を1-Lipschitz関数の最適化問題に定式化する。
• 重みノルム制約を施した全結合ニューラルネットワークを用いて1-Lipschitz関数をパrameter化し、作用素ノルム制約により正確なリプシッツ境界を保証する。
• 勾配降下法を用いて、源分布とターゲット分布における関数の期待値の差を最大化するようにネットワークを学習させ、正確なEMDを導出する。
• 訓練済みネットワークから得られるKantorovichポテンシャルが、幾何パラメータ（例えば円の中心）に力として作用し、ターゲット分布に一致する方向へ誘導する。
• フレームワークは、源分布のEMDと幾何パラメータの両方に対するエンドツーエンドの微分可能最適化をサポートする。
• KR双対表現のわずかな変更により、ε-Sinkhorn近似を用いない信頼性が高く正確なEMD推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1-Lipschitz制約を正確に満たすニューラルネットワークを用いて、エネルギー・ムーバーズ・ディスタンス（EMD）を正確かつ微分可能に計算できるか？
• RQ2 NEEMoフレームワークは、幾何フィッティングタスクにおけるEMD推定において、ε-Sinkhorn近似に比べてどの程度優れているか？
• RQ3 NEEMoは、ジェットサブストラクチャや円形／楕円形の粒子分布といった、真の幾何構造をどの程度正確に回復できるか？
• RQ4 NEEMoは、従来のクラスタリングアルゴリズムを上回る性能で、非教師ありのイベントごとのジェット幾何フィッティングを実現できるか？
• RQ5 EICのような将来のコライダー実験において、標準的手法が不適切である状況で、NEEMoが精度物理学に与える潜在的影響は何か？

主な発見

• NEEMoは、3つの円形粒子クラスタを持つ合成イベントに対して、初期化された3つの円を勾配降下法によるKantorovichポテンシャル最適化により、完全な一致を達成した。
• フレームワークは、三角形や楕円などのパラメトリック形状をターゲット分布に正確にフィットさせることができ、複雑な幾何構造に対しても頑健であることを示した。
• N-サブジェットクラスタリング実験では、NEEMoが正しいサブジェット数（3、4、または5）をEMDの最小化により正しく特定した。
• 正しいサブジェット数におけるN-サブジェットフィットのEMDは、常に最小値を示し、本手法の真のサブストラクチャへの感受性を確認した。
• フレームワークは、従来の手法が用いるε近似を不要とする正確なEMDに対する微分可能最適化を可能にした。
• 本手法は、ハドロン化や検出器効果に起因するパーセントオーダーのイベント変更を検出する精度物理学への応用において、強く有望な可能性を示した。