[論文レビュー] Learning the Irreducible Representations of Commutative Lie Groups

Taco Cohen, Max Welling|arXiv (Cornell University)|Feb 18, 2014

Medical Image Segmentation Techniques参考文献 16被引用数 37

ひとこと要約

本稿では、回転などの画像における対称性を表現するコンパクトな可換リー群の非可約表現を活用することで、不変かつ分離可能な表現を確率的モデルとして学習する、トーラス部分群分析（TSA）を提案する。本手法は、新たなベイズ共役関係を用いることで、完全に tractable な推論を可能にし、MNIST における回転不変分類タスクで最先端の性能を達成する。これは、回転の変動要因を明示的に分離する表現を学習する結果となる。

ABSTRACT

We present a new probabilistic model of compact commutative Lie groups that produces invariant-equivariant and disentangled representations of data. To define the notion of disentangling, we borrow a fundamental principle from physics that is used to derive the elementary particles of a system from its symmetries. Our model employs a newfound Bayesian conjugacy relation that enables fully tractable probabilistic inference over compact commutative Lie groups -- a class that includes the groups that describe the rotation and cyclic translation of images. We train the model on pairs of transformed image patches, and show that the learned invariant representation is highly effective for classification.

研究の動機と目的

• リー群理論からの対称性原理を用いて、数学的に整合性のある分離表現を学習するフレームワークの構築。
• 表現学習における不変性と分離性の正確な数学的定義の欠如に対処すること。
• 回転をモデル化するようなコンパクト可換リー群（例：SO(2)）上で、完全に tractable な確率的推論を可能にすること。
• 対称性群の非可約表現が、下流タスクに最適な分離可能で不変な特徴をもたらすことを示すこと。
• 群表現理論から出発して、DFT および畳み込みプーリング操作の確率的解釈を提供すること。

提案手法

• 群パラメータ上の新しい共役事前分布を用いることで、すべての主要な確率的量（事後分布、周辺尤度など）の閉形式計算が可能になる。
• 表現学習を、潜在的な群パラメータに関する推論として定式化し、データペアを未観測の群要素による変換版としてモデル化する。
• 一般化ベッセル関数（GBF）を用いて正規化定数およびモーメントを表現し、微分再帰関係を活用して効率的な勾配計算を実現する。
• 反復的最適化を回避するため、前向き伝搬型の推論手順により、群要素および表現に関する事後分布を計算する。
• 群の非可約表現に対応するフィルタ（基底関数）の集合を学習し、周波数は角速度パラメータによって推定する。
• SVD を用いた重み行列の直交化により、基底の回転に対する不変性が保たれ、学習の安定化が達成される。

実験結果

リサーチクエスチョン

• RQ1 コンパクト可換リー群の非可約表現を用いて、完全に tractable な確率的枠組みで分離可能で不変な表現を学習できるか？
• RQ2 ベイズ共役性をどのように活用することで、SO(2) のような連続的対称性群上での正確な推論を可能にするか？
• RQ3 学習された表現は、既存の手法を上回る性能を示すか？
• RQ4 対応のない変換済み画像パッチから、真の群構造をどの程度正確に回復できるか？
• RQ5 群表現理論から出発した DFT および畳み込み操作の確率的解釈は、どのようにして導かれるか？

主な発見

• TSA モデルは、MNIST における回転不変分類タスクで、タングエント距離およびユークリッド距離ベースラインを著しく上回る最先端の性能を達成した。
• モデルは、明確で解釈可能なフィルタを学習し、回転群の異なる周波数成分に対応しており、100個のフィルタで周波数が正しく推定された。
• TSA によって学習された表現は分類に非常に効果的であり、真の多様体距離（MD）の精度が非回転ピクセル空間と同等に近く、ほぼ完全な不変性を示した。
• 変換パラメータに関するモデルの事後分布はマルチモーダルであり、MAP 推論のような点推定手法とは異なり、不確実性を正確に反映している。
• 正規化定数、KL 散布、勾配といったすべての主要な確率的量が閉形式で計算可能であり、確率的勾配降下法による効率的な学習が可能になった。
• 本手法は、DFT および畳み込みネットワークのプーリングの確率的基礎を数学的に整合性のある形で提供し、これらが群表現理論から自然に導かれることが示された。