[論文レビュー] Learning to relate images: Mapping units, complex cells and simultaneous eigenspaces

Roland Memisevic|arXiv (Cornell University)|Oct 1, 2011

Cell Image Analysis Techniques参考文献 49被引用数 9

ひとこと要約

本稿では、直交行列の共有固有空間における回転を検出することで、画像対応関係の学習を可能にする乗法的相互作用—マッピングユニットおよびエネルギーモデルを通じて実現される—を提案する。複雑細胞およびエネルギーモデルにおける二乗化操作が、これらの相互作用を実装しており、不変性を超えた関係ベースの学習を可能にし、運動、ステレオ、不変認識への応用がある。

ABSTRACT

A fundamental operation in many vision tasks, including motion understanding, stereopsis, visual odometry, or invariant recognition, is establishing correspondences between images or between images and data from other modalities. We present an analysis of the role that multiplicative interactions play in learning such correspondences, and we show how learning and inferring relationships between images can be viewed as detecting rotations in the eigenspaces shared among a set of orthogonal matrices. We review a variety of recent multiplicative sparse coding methods in light of this observation. We also review how the squaring operation performed by energy models and by models of complex cells can be thought of as a way to implement multiplicative interactions. This suggests that the main utility of including complex cells in computational models of vision may be that they can encode relations not invariances.

研究の動機と目的

• 視覚タスクの根幹をなす画像対応関係の学習における乗法的相互作用の役割を理解すること。
• マッピングユニット、エネルギーモデル、複雑細胞といった多様な手法を、共有固有空間に基づく共通の数学的枠組みで統合すること。
• 運動やステレオといった関係ベースの視覚タスクで、なぜ二乗化非線形性が性能を向上させるのかを調査すること。
• 学習ベースで生物学的に妥当なモデルが、対応関係タスクのための手作業で設計されたパイプラインに置き換え可能かどうかを検討すること。
• 関係の符号化を通じて類推や高次認知を支援できるかどうかを検討すること。

提案手法

• 複雑な直交行列の集合の同時固有空間における回転を検出することで、画像対応関係をモデル化する。
• マッピングユニットを用い、三重の乗法的相互作用（例：z_k が x_i と y_j を調整）を用いて、画像特徴間の動的関係を表現する。
• 線形射影（例：ガボールフィルタ）の二乗応答を計算するエネルギーモデルを適用し、二乗化によって乗法的相互作用を模倣する。
• これらのモデルがコンテンツに依存せずに平行移動を符号化できることを分析し、頑健な対応関係検出を可能にする。
• 二乗化非線形性が、生物学的に妥当な方法で乗法的相互作用を近似できることを示す。
• 直交行列の共有固有空間が、不変性ではなく関係の学習のための幾何的基盤を提供することを提唱する。

実験結果

リサーチクエスチョン

• RQ1 マッピングユニットやエネルギーモデルのようなモデルにおける乗法的相互作用が、画像対応関係の学習をどのように支援するか。
• RQ2 エネルギーモデルや複雑細胞が、二乗化操作を通じてどのように乗法的相互作用を実装するか。
• RQ3 運動やステレオビジョンといった関係を含むタスクで、なぜ二乗化非線形性が性能を向上させるのか。
• RQ4 直交行列の共有固有空間が、多様な対応関係モデルを統一する数学的枠組みとして機能できるか。
• RQ5 学習ベースのモデルが、視覚タスクにおける従来の手作業で設計されたパイプラインをどの程度置き換え可能か。

主な発見

• マッピングユニットおよびエネルギーモデルによって形式化された乗法的相互作用は、直交行列の共有固有空間における回転を特定することで、画像対応関係の検出を可能にする。
• エネルギーモデルや複雑細胞における二乗化操作は、乗法的相互作用を効果的に模倣し、関係の符号化に生物学的に妥当なメカニズムを提供する。
• この枠組みは、光流やステレオマッチングといった関係ベースのタスクで、二乗化非線形性が性能を向上させる理由を説明できる。
• これらの原則に従う学習ベースのモデルは、キーポoinト検出や記述子マッチングを含むマルチステージパイプラインを、1つのエンドツーエンドで学習可能なシステムに置き換えることができる。
• 学習されたフィルタに現れる「渦巻き状」のパターンといったエメrgentな特徴は、連結された画像シーケンスから3次元構造や運動を暗黙的に学習できることを示唆する。
• 静的不変性ではなく関係の符号化を通じて、類推や高次認知を支援することができ、視覚タスク全体にわたる統一的学習の可能性を秘めている。