[論文レビュー] An Unsupervised Algorithm For Learning Lie Group Transformations

Jascha Sohl‐Dickstein, Jimmy C. Wang+1 more|arXiv (Cornell University)|Jan 7, 2010

Advanced Vision and Imaging参考文献 20被引用数 18

ひとこと要約

本稿では、計算コストを低減するために変換演算子を固有基底で表現し、局所最適解からの脱出を図るための変換固有のぼかし演算子を導入し、スパースで最小距離の多様体遷移を強制することで、自然な映像系列におけるリー群変換の教師なし学習のためのアルゴリズムを提案する。この手法は、標準的な運動モデルと比較して映像予測精度を顕著に向上させ、単純な平行移動を超えてアフィン変換、コントラスト変化、明るさ変化といった複雑な変換を学習可能である。

ABSTRACT

We present several theoretical contributions which allow Lie groups to be fit to high dimensional datasets. Transformation operators are represented in their eigen-basis, reducing the computational complexity of parameter estimation to that of training a linear transformation model. A transformation specific "blurring" operator is introduced that allows inference to escape local minima via a smoothing of the transformation space. A penalty on traversed manifold distance is added which encourages the discovery of sparse, minimal distance, transformations between states. Both learning and inference are demonstrated using these methods for the full set of affine transformations on natural image patches. Transformation operators are then trained on natural video sequences. It is shown that the learned video transformations provide a better description of inter-frame differences than the standard motion model based on rigid translation.

研究の動機と目的

• 自然な映像系列における連続的かつ高次元の変換を教師なしで学習するための手法を開発すること。
• 映像データにおけるリー群パrameter推定の高コストさと非凸性を克服すること。
• 剛体平行移動よりも現実のフレーム間変化をよりよくモデル化する変換演算子を発見することで、映像符号化の効率を向上させること。
• 固有値分解、適応的スムージング、多様体距離正則化を通じて、ロバストな推論と学習を可能にすること。

提案手法

• 変換演算子を固有基底で表現することで、パrameter推定を線形モデルの学習に還元し、計算を効率化する。
• 推論が局所最適解に陥るのを防ぐために、変換固有のぼかし演算子を導入する。
• 変換が traversed する多様体距離にペナルティを課すことで、スパースで最小経路の解を促進する。
• 学習された係数モデルを用いて、非可換なリー群演算子を複数組み合わせ、複雑な合成変換を表現する。
• 収束性とロバスト性を向上させるために、適応的スムージングを用いた粗いから細かい推論戦略を採用する。
• 教師なしで自然な映像系列上で学習が行われ、真値の変換ラベルは一切使用しない。

実験結果

リサーチクエスチョン

• RQ1 教師なしで高次元の映像データからリー群演算子を効率的に学習できるか？
• RQ2 リー群変換の非凸な推論問題を、局所最適解から脱出可能にできるか？
• RQ3 学習されたリー群演算子は、標準的な剛体平行移動モデルよりも自然映像におけるフレーム間変化をより複雑に捉えられるか？
• RQ4 多様体距離正則化は、よりスパースで効率的な変換表現をもたらすか？
• RQ5 適応的スムージングは推論の安定性と符号化性能にどのような影響を及えるか？

主な発見

• 提案手法では、変換演算子をより多く追加するごとにPSNRが安定して向上し、フレーム予測の性能が段階的に向上することを示した。
• 適応的スムージングを施した連続的平行移動は、四分の1ピクセル運動補償を上回る性能を示し、スムージングが変換推定を向上させることを示した。
• モデルは平行移動を超える多様な変換を学習しており、明るさスケーリング、コントラストスケーリング、空間的に局所化されたアフィン変換が含まれる。
• 固有値分解の使用により、リー群演算子の計算的に扱える学習が可能となり、高次元データへのスケーラビリティが実現された。
• 変換固有のぼかし演算子は、推論における局所最適解の発生を効果的に低減し、収束のロバスト性を向上させた。
• 標準的な運動モデルよりもフレーム間差異をよりよく記述できるため、映像圧縮への強い可能性を示唆している。