[論文レビュー] Diffeomorphic Learning

Laurent Younès|arXiv (Cornell University)|Jun 4, 2018

Medical Image Segmentation Techniques参考文献 22被引用数 6

ひとこと要約

本稿では、滑らかで可逆な微分同相写像を用いて訓練データを変換することで線形分離性を達成する、新しい分類フレームワーク「微分同相学習」を提案する。同様に、微分同相群における測地線距離を用いて恒等写像からの逸脱を罰則化することで、一般化性能を向上させる。この手法は形状解析技術と機械学習を統合し、構造的な非線形変換正則化を通じて一般化性能が向上する。非線形分離が困難な合成データセットにおいて、競争力ある性能を示した。

ABSTRACT

We introduce in this paper a learning paradigm in which the training data is transformed by a diffeomorphic transformation before prediction. The learning algorithm minimizes a cost function evaluating the prediction error on the training set penalized by the distance between the diffeomorphism and the identity. The approach borrows ideas from shape analysis where diffeomorphisms are estimated for shape and image alignment, and brings them in a previously unexplored setting, estimating, in particular diffeomorphisms in much larger dimensions. After introducing the concept and describing a learning algorithm, we present diverse applications, mostly with synthetic examples, demonstrating the potential of the approach, as well as some insight on how it can be improved.

研究の動機と目的

• 非線形分離が困難なデータに対して分類性能を向上させる新しい学習フレームワークの開発。
• 画像や形状の登録に用いられてきた微分同相形状解析の手法を、高次元データを対象とした分類設定に応用すること。
• 恒等写像からの測地線距離を用いた正則化により、滑らかで衝突のないデータ変形を促進し、一般化性能を向上させること。
• 標準的な分類器と比較して、微分同相学習の実現可能性と性能を、特に高次元および複雑なデータシナリオにおいて評価すること。
• 微分同相変換および分類器の各コンponentにおけるハイパーパramータの感度と最適化戦略の調査。

提案手法

• 本手法は、$ x \mapsto F(\psi(x)) $ として分類をモデル化し、$ \psi $ は $ \mathbb{R}^d $ 上の微分同相写像であり、$ F $ はパラメータ $ \theta $ で定義される線形またはロジスティック分類器である。
• 目的関数は以下の組み合わせを最小化する：(1) 恒等写像からの測地線距離 $ D({\rm id}, \psi)^2 $、(2) 予測誤差 $ \Gamma(F(\cdot,\theta), \psi \cdot \mathcal{T}_0) $、(3) $ \theta $ に対する $ \ell^2 $ 正則化。
• 微分同相写像 $ \psi $ は、$ T $ 時間ステップにわたるベクトル場の流れとして構築され、大規模変形微分同相度量マッピング（LDDMM）の最適制御原理を用いて変換経路が計算される。
• カーネルスケール $ \rho $ は、$ \rho_0 = \min(\rho_1, \rho_2) $ として適応的に設定される。ここで $ \rho_1 $ はクラス内距離の第5百分位数の75%分位数、$ \rho_2 $ はクラス間最小距離の第10百分位数である。
• 訓練プロセスは動的計画法に類似した最適化を用い、$ \sigma^2 $ をオンラインで調整して訓練誤差を目標値 $ \delta = 0.005 $ に近づけ、$ \theta $ に対する $ \ell^2 $ 正則化のための $ \lambda = 1 $ を使用する。
• 本手法は、ベクトル場の表現に再生核ヒルベルト空間（RKHS）を用いることで、微分同相流れの滑らかさを保証する。

実験結果

リサーチクエスチョン

• RQ1 入力データに対する微分同相変換は、分類タスクにおける線形分離性を向上させ得るか？
• RQ2 恒等写像からの測地線距離による正則化は、一般化性能にどのように影響するか？
• RQ3 カーネルスケール $ \rho $、時間離散化 $ T $、$ \sigma^2 $ といった主要なハイパーパramータが分類精度に与える影響は何か？
• RQ4 非線形分離が困難な合成データセットにおいて、微分同相学習は標準的分類器と比較してどの程度の性能を示すか？
• RQ5 本手法は、高次元データや複雑なデータ多様体にどの程度スケーリング可能か？

主な発見

• Xorデータセットでは $ \rho = 4\rho_0 $ のとき誤差率が 0.473 から 0.01 に低下し、複雑なケースにおけるカーネルスケールの感受性が顕著に示された。
• 混合ガウス分布データセットでは、$ T=1 $ のとき誤差率が 0.322 であったのに対し、$ T=100 $ では 0.109 に低下し、$ T $ の増加に伴い連続極限に収束することが示された。
• RBFおよび球面レイヤーのデータセットでは、$ T=10 $ で誤差率が安定化し、$ T=20 $ を超えても改善がほとんど見られなかったため、$ T=10 $ が収束に十分であることが示された。
• デフォルトのカーネルスケール $ \rho_0 $ は、大多数のデータセットでほぼ最適な性能を示し、わずかな劣化しか生じないが、Xorケースではより大きな $ \rho $ が顕著に結果を改善した。
• すべてのデータセットで $ \sigma^2 $ の動的調整により訓練誤差目標値 $ \delta = 0.005 $ を達成し、損失関数の効果的な最適化が可能であることが示された。
• 本手法は、トーラスやセグメント長などの非線形多様体を含む挑戦的な合成データセットにおいても競争力ある性能を示し、ほとんどのケースで誤差率が 0.10 未満に抑えられた。